當(dāng)大數(shù)據(jù)帶給世界更多比特,這些實(shí)時(shí)產(chǎn)生的海量數(shù)據(jù)成為了一座開(kāi)采難度巨大的礦山。大家都知道通過(guò)這些碎片化的數(shù)據(jù)能夠挖掘出更多價(jià)值,但是就目前的整體發(fā)展來(lái)看,大數(shù)據(jù)的應(yīng)用遠(yuǎn)沒(méi)有達(dá)到預(yù)期的效果,其原因有如下幾個(gè)。
01 數(shù)據(jù)的獲取難度增加
從早期PC端各種類型的cookie數(shù)據(jù)及用戶網(wǎng)站瀏覽、點(diǎn)擊、停留等數(shù)據(jù),到用戶移動(dòng)端設(shè)備相關(guān)的型號(hào)、位置及應(yīng)用使用時(shí)長(zhǎng)、次數(shù)、類型等數(shù)據(jù),再到應(yīng)用內(nèi)的點(diǎn)擊、停留、瀏覽、搜索等數(shù)據(jù),數(shù)據(jù)量雖然越來(lái)越大,可獲取變得越來(lái)越難。
早期,用戶對(duì)這些所謂的“不敏感數(shù)據(jù)”并不了解,或著不太在意。但隨著各種類型的數(shù)據(jù)商業(yè)模式興起,一些數(shù)據(jù)收集方過(guò)度、越線收集用戶數(shù)據(jù),又有人利用這些數(shù)據(jù)進(jìn)行過(guò)度營(yíng)銷,嚴(yán)重?fù)p害了用戶體驗(yàn)和信任度。
02 數(shù)據(jù)應(yīng)用與個(gè)人隱私的問(wèn)題沒(méi)有很好的解決
大數(shù)據(jù)時(shí)代,每個(gè)人通過(guò)互聯(lián)網(wǎng)留下了大量的各種類型的數(shù)據(jù),綜合這些數(shù)據(jù)信息能夠反映出人的行為模式:包括應(yīng)用興趣偏好、常去地點(diǎn)、工作及居住地、社交關(guān)系、收入水平、消費(fèi)偏好、品牌偏好等。
善用這些數(shù)據(jù)原本能夠更好的為用戶服務(wù),比如提供更符合用戶偏好的產(chǎn)品及服務(wù),能夠有效降低用戶的選擇時(shí)間,甚至規(guī)劃建設(shè)更高效的城市、讓生活更便捷。
但是,一方面頻繁的操作系統(tǒng)升級(jí)和設(shè)備更替讓用戶更加注重?cái)?shù)據(jù)的安全問(wèn)題;同時(shí),某些數(shù)據(jù)收集行為越過(guò)了對(duì)個(gè)人互聯(lián)網(wǎng)特征數(shù)據(jù)的紅線,數(shù)據(jù)是否會(huì)造成個(gè)人隱私的泄露、是否會(huì)帶來(lái)過(guò)度的營(yíng)銷、是否有可能被精準(zhǔn)的侵入,給用戶造成大量的困擾,甚至是經(jīng)濟(jì)損失。
為解決數(shù)據(jù)隱私問(wèn)題,在對(duì)已有法律法規(guī)繼續(xù)進(jìn)行完善的基礎(chǔ)上,也應(yīng)該有行業(yè)規(guī)范和行業(yè)自律要求,雙管齊下,促使數(shù)據(jù)產(chǎn)業(yè)鏈各方參與者共同打造良好的網(wǎng)絡(luò)數(shù)據(jù)空間,增加對(duì)用戶隱私和數(shù)據(jù)安全的保護(hù),也通過(guò)更加人性化的服務(wù)產(chǎn)生數(shù)據(jù)應(yīng)用的價(jià)值。
03 數(shù)據(jù)加工處理的速度與數(shù)據(jù)產(chǎn)生的速度不同步
大數(shù)據(jù)時(shí)代,每人每天產(chǎn)生的數(shù)據(jù)高達(dá)數(shù)GB,圍繞社交、金融交易、網(wǎng)絡(luò)購(gòu)物、生活記錄等各種應(yīng)用,全世界每天能夠產(chǎn)生數(shù)ZB的數(shù)據(jù),這龐大的數(shù)據(jù)量需要更加龐大的處理能力才能實(shí)現(xiàn)有效利用。
但是以目前的計(jì)算方法和計(jì)算能力,每秒處理的速度遠(yuǎn)小于數(shù)據(jù)產(chǎn)生的速度,只能選擇小范圍的嘗試,像Spark/Hadoop/Flink/Kafka等廣泛應(yīng)用的計(jì)算方法均有待提升。
同樣的,對(duì)于所需的硬件基礎(chǔ)設(shè)施,目前最快的CPU/GPU/NPU其每秒所能提供的計(jì)算速度僅達(dá)數(shù)百M(fèi)B/s,也無(wú)法更快的提升計(jì)算能力。這些都限制了數(shù)據(jù)處理的快速發(fā)展。
鑒于此,應(yīng)該針對(duì)不同類型的數(shù)據(jù)提供不同的處理算法,比如專門(mén)針對(duì)常規(guī)結(jié)構(gòu)化數(shù)據(jù)或文本數(shù)據(jù)、音視頻等非結(jié)構(gòu)化數(shù)據(jù)等的專用計(jì)算方法。通過(guò)基于各類數(shù)據(jù)的特點(diǎn)進(jìn)行并行計(jì)算,如結(jié)構(gòu)化數(shù)據(jù)的小數(shù)據(jù)、文本數(shù)據(jù)的數(shù)據(jù)塊數(shù)據(jù)、音視頻的采樣壓縮數(shù)據(jù)等,針對(duì)每一種數(shù)據(jù)進(jìn)行專門(mén)的效率提升。
04 數(shù)據(jù)應(yīng)用落地難度增加
雖然我們處在大數(shù)據(jù)時(shí)代,但能夠得到有效應(yīng)用的數(shù)據(jù)還不足1/10,而其應(yīng)用方向大部分僅僅是圍繞營(yíng)銷、風(fēng)控等方面。
這些主要面向市場(chǎng)的應(yīng)用雖然幫助企業(yè)提升了收入,但是越來(lái)越多人對(duì)這種缺少選擇空間的應(yīng)用充滿懷疑,也導(dǎo)致應(yīng)用水平的下降。而且,這些只看一時(shí)、不看長(zhǎng)遠(yuǎn)的應(yīng)用方式也有可能導(dǎo)致效果適得其反,用戶被教育之后就會(huì)明顯的進(jìn)行反抗,將會(huì)影響到數(shù)據(jù)的未來(lái)應(yīng)用。
數(shù)據(jù)應(yīng)用落地目前顯然受到了環(huán)境發(fā)展及數(shù)據(jù)孤島等方面的影響,很多好的想法無(wú)法付諸實(shí)踐。但是可以考慮通過(guò)新興的區(qū)塊鏈技術(shù)實(shí)現(xiàn)行業(yè)合作、資源互換、消費(fèi)者互利等,促進(jìn)各方的信任,以開(kāi)放心態(tài),在保護(hù)數(shù)據(jù)安全的前提下更多的釋放數(shù)據(jù)價(jià)值,打造智慧空間的各種應(yīng)用。
05 數(shù)據(jù)價(jià)值發(fā)掘方向不明確
大數(shù)據(jù)的發(fā)展離不開(kāi)各方參與者,其價(jià)值的實(shí)現(xiàn)也需要各方通力合作。但是目前大量掌握數(shù)據(jù)的企業(yè)圈地自封,而生產(chǎn)數(shù)據(jù)的用戶卻成為了被收割的對(duì)象。這也引發(fā)了圍繞數(shù)據(jù)價(jià)值的喋喋不休的爭(zhēng)論——到底是為了提升用戶體驗(yàn),還是收割所剩無(wú)幾的互聯(lián)網(wǎng)流量紅利?
但是這些都無(wú)法阻擋歷史前進(jìn)的車輪。在數(shù)據(jù)應(yīng)用領(lǐng)域,諸如快速響應(yīng)客戶各類需求、降低產(chǎn)品設(shè)計(jì)成本、降低制造及倉(cāng)儲(chǔ)成本、降低運(yùn)輸及配送成本、精準(zhǔn)預(yù)判投資規(guī)劃、圍繞用戶行為的預(yù)測(cè)快速迭代更新、預(yù)測(cè)競(jìng)品營(yíng)銷策略及市場(chǎng)變化等提升自身競(jìng)爭(zhēng)力水平的應(yīng)用,有著巨大的市場(chǎng)空間。
綜上,相信有遠(yuǎn)見(jiàn)的企業(yè)得以一窺未來(lái)的輪廓,也會(huì)積極布局未來(lái)的主要賽道?;诰?xì)化的行業(yè)屬性、數(shù)據(jù)特征、消費(fèi)場(chǎng)景的各類應(yīng)用會(huì)層出不窮,屆時(shí)將進(jìn)入嶄新的數(shù)字世界——即智慧空間。