不是我不明白,這世界變化快12000年還是一張軟盤打天下的時(shí)代,短短十多年光景,硬盤的存儲(chǔ)容量已從4GB、16GB、32GB迅速攀升到1TB。原來僅有1.44MB的軟盤在當(dāng)時(shí)感覺存儲(chǔ)容量還是蠻大的,到現(xiàn)在硬盤容量躥升至1TB了,反而感覺存儲(chǔ)空間捉襟見肘,到底是哪里出現(xiàn)了問題?
大數(shù)據(jù)!一語驚醒夢中人,大數(shù)據(jù)時(shí)代已經(jīng)悄然來臨。隨著社交網(wǎng)絡(luò)的逐漸成熟,移動(dòng)帶寬迅速提升,云計(jì)算、物聯(lián)網(wǎng)應(yīng)用更加豐富。更多的傳感設(shè)備、移動(dòng)終端接入到網(wǎng)絡(luò),由此產(chǎn)生的數(shù)據(jù)及增長速度迅速攀升。
一項(xiàng)由UnisohereResearch對(duì)531名獨(dú)立Oracle用戶進(jìn)行的調(diào)查發(fā)現(xiàn),90%的企業(yè)的數(shù)據(jù)量在迅速上漲,其中16%的企業(yè)的數(shù)據(jù)量每年增長率達(dá)到50%或更高。不少企業(yè)已經(jīng)感受到失控的數(shù)據(jù)增長對(duì)績效造成的沖擊,其中87%的受訪者將企業(yè)的應(yīng)用程序性能下降歸咎于不斷增長的數(shù)據(jù)量。調(diào)研機(jī)構(gòu)IDC在2011年6月的報(bào)告則顯示,全球數(shù)據(jù)量在2011年已達(dá)到1.8ZB,在過去5年里增加了5倍。
1.8ZB是什么樣的概念呢?首先從二進(jìn)制上解讀一下,從我們最熟悉的開始,1TB(TrillionByte)=1024GB;1PB(PetaByte)=1024TB,1EB(ExaByte)=1024PB;1ZB(ZettaByte)=1024EB;1YB(YottaByte)=1024ZB;BB(BrontoByte)=1024YB.
再來直接形象地形容一下1.8ZB的數(shù)據(jù)量,如果把所有這些數(shù)據(jù)都刻錄存入普通DVD光盤里,光盤的高度將等同于從地球到月球的一個(gè)半來回也就是大約720000英里。相當(dāng)于每位美國人每分鐘寫3條Twitter微博,而且還要不停地寫2.6976萬年,是不是很恐怖?這還不是最恐怖的,IDC還預(yù)測全球數(shù)據(jù)量大約每兩年翻一番,2015年全球數(shù)據(jù)量將達(dá)到近8ZB,到2020年,全球?qū)⑦_(dá)到35ZB。
所謂的大數(shù)據(jù)最直白的理解是海量數(shù)據(jù),通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時(shí)會(huì)花費(fèi)很多時(shí)間和金錢。調(diào)研機(jī)構(gòu)IDC認(rèn)為,某項(xiàng)技術(shù)要想成為大數(shù)據(jù)技術(shù),必須滿足IBM所描述的三個(gè)“V”條件,即多樣性(Variety)、大容量(Volume)和時(shí)效性高(Velocity)。多樣性是指數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù);大容量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的;時(shí)效性高則是指數(shù)據(jù)處理的速度必須很快。