大數(shù)據(jù)擁抱云計(jì)算

Spark大數(shù)據(jù)開發(fā)
對于數(shù)據(jù)的檢索和挖掘。檢索就是搜索,俗話說外事不決問谷歌,內(nèi)事不決問百度。兩大搜索引擎都是將分析歸納后的數(shù)據(jù)放入搜索引擎,從而方便人們找到想要的信息。還有一個就是挖掘,搜索出來的信息還需要從中挖掘出相互的關(guān)系。
  數(shù)據(jù)怎么樣才能對人有用?人們整天都在討論大數(shù)據(jù),其實(shí)數(shù)據(jù)本身并不是有用的,必須要經(jīng)過一定的處理。數(shù)據(jù)本身并沒有什么作用,但是數(shù)據(jù)里面包含一些很重要的東西,叫做信息(Information),數(shù)據(jù)雜亂無章,只有經(jīng)過了梳理和清洗,才能夠稱為信息。
 
 
  1.數(shù)據(jù)如何升華為智慧
 
  數(shù)據(jù)的處理分五個步驟,全部完成了才最后才會升華智慧。
 
  第一:數(shù)據(jù)的收集。首先得有數(shù)據(jù),數(shù)據(jù)的收集有兩個方式,第一個方式是拿(Pull),專業(yè)點(diǎn)的叫爬取或者抓取,常見的搜索引擎就是這么干的,它把網(wǎng)上的信息都下載到它的數(shù)據(jù)中心,然后被你搜索出來。比如你去搜索的時候,返回的是一個列表,這個列表為什么會在搜索引擎的公司里面呢,就是因?yàn)樗堰@個數(shù)據(jù)都爬下來了,但是你一點(diǎn)鏈接,點(diǎn)出來這個網(wǎng)站就不在搜索引擎它們公司了。比如說搜狐有個新聞,你拿百度搜出來,你不點(diǎn)的時候,那一頁在百度數(shù)據(jù)中心,一點(diǎn)出來的網(wǎng)頁就跳轉(zhuǎn)到搜狐的數(shù)據(jù)中心了。另外一個方式就是推送,有很多終端可以幫我收集數(shù)據(jù),比如說智能手環(huán),可以將你每天跑步的數(shù)據(jù),血壓的數(shù)據(jù),心跳的數(shù)據(jù)都上傳到數(shù)據(jù)中心里面。
 
  第二:數(shù)據(jù)的傳輸。常見的會通過隊(duì)列方式進(jìn)行,數(shù)據(jù)量實(shí)在是太大了,數(shù)據(jù)必須經(jīng)過處理才會有用,但是系統(tǒng)處理不過來,只好排排隊(duì),一條條地處理。
 
  第三:數(shù)據(jù)的存儲?,F(xiàn)在數(shù)據(jù)就是Money,掌握了數(shù)據(jù)就相當(dāng)于掌握了金錢。要不然你看購物網(wǎng)站怎么知道你想買什么呢?就是因?yàn)樗心銡v史的交易信息,然后通過這個信息分析出你的購物習(xí)慣。
 
  第四:數(shù)據(jù)的處理和分析。上面存儲的數(shù)據(jù)是原始數(shù)據(jù),原始數(shù)據(jù)多是雜亂的,還有很多垃圾數(shù)據(jù),因而需要清洗和過濾。對于整理過的數(shù)據(jù),就可以進(jìn)行分析,從而對數(shù)據(jù)進(jìn)行歸類,或者發(fā)現(xiàn)數(shù)據(jù)之間的相互關(guān)系。比如著名的啤酒和紙尿布的故事,就是通過對人們的購買數(shù)據(jù)進(jìn)行比對分析,發(fā)現(xiàn)了男人在買尿布的時候,會同時想要購買啤酒,這樣就發(fā)現(xiàn)了啤酒和尿布之間的對應(yīng)關(guān)系,掌握了規(guī)律,然后應(yīng)用到實(shí)踐中,將啤酒和尿布的柜臺放到一起,這就是一種智慧。
 
  第五:對于數(shù)據(jù)的檢索和挖掘。檢索就是搜索,俗話說外事不決問谷歌,內(nèi)事不決問百度。兩大搜索引擎都是將分析歸納后的數(shù)據(jù)放入搜索引擎,從而方便人們找到想要的信息。還有一個就是挖掘,搜索出來的信息還需要從中挖掘出相互的關(guān)系。例如財(cái)經(jīng)檢索,當(dāng)搜索某個公司股票的時候,該公司的管理層是不是也應(yīng)該被挖掘出來?如果僅僅搜索出這個公司的股票漲的特別好,你就去買了,結(jié)果第二天就跌了,這不坑人么?所以通過各種算法挖掘數(shù)據(jù)中的關(guān)系,形成知識數(shù)據(jù)庫,十分重要
 
   
 
  2.大數(shù)據(jù)擁抱云計(jì)算
 
  數(shù)據(jù)分析是一項(xiàng)很有意思的技術(shù),其功能就是幫我們梳理數(shù)據(jù),存儲信息,并從信息中總結(jié)規(guī)律。當(dāng)數(shù)據(jù)量很小的時候,幾臺機(jī)器就能分析并解決問題。但是,慢慢的當(dāng)數(shù)據(jù)量越來越大,大到最強(qiáng)的超級計(jì)算機(jī)都解決不了問題的時候,該怎么辦呢?這時就要聚合多臺機(jī)器的力量,也就是使用云計(jì)算的力量。
 
  對于數(shù)據(jù)的收集,以物聯(lián)網(wǎng)為例,外面部署這成千上億的檢測設(shè)備,將大量的溫度,濕度,PH值,PM2.5等等數(shù)據(jù)統(tǒng)統(tǒng)收集上來,對于網(wǎng)頁的搜索引擎來講,需要將整個互聯(lián)網(wǎng)所有的網(wǎng)頁都下載下來,這顯然一臺服務(wù)器做不到,需要多臺服務(wù)器組成分布式系統(tǒng),每臺機(jī)器下載一部分,同時工作,才能在有限的時間內(nèi),將海量的網(wǎng)頁下載完畢。
 
  對于數(shù)據(jù)的傳輸,一個內(nèi)存里面的隊(duì)列肯定會被大量的數(shù)據(jù)擠爆,于是就產(chǎn)生了基于存儲系統(tǒng)的分布式隊(duì)列,這樣的隊(duì)列可以多臺服務(wù)器同時傳輸,隨你數(shù)據(jù)量多大,只要我的隊(duì)伍足夠多,隊(duì)列足夠粗,就能夠撐得住。
 
  對于數(shù)據(jù)的存儲也是一樣,一臺服務(wù)器的文件系統(tǒng)肯定是放不下了,那我們就做一個很大的分布式文件系統(tǒng)來做這件事情,把多臺機(jī)器的硬盤打成一塊大的文件系統(tǒng)。
 
  再比如數(shù)據(jù)的分析,可能需要對大量的數(shù)據(jù)做分類,統(tǒng)計(jì),聚合,一臺服務(wù)器肯定搞不定,處理幾百年也分析不完,于是就有了分布式計(jì)算的方法,將大量的數(shù)據(jù)分成小份,每臺服務(wù)器處理一小份,多臺服務(wù)器并行處理,很快就能算完。例如著名的Terasort對1個TB的數(shù)據(jù)排序,相當(dāng)于1024G,如果單機(jī)處理,怎么也要幾個小時,但是并行處理只需要幾十秒就完成了。
 
  所以說大數(shù)據(jù)平臺,什么叫做大數(shù)據(jù),說白了就是一臺機(jī)器干不完,大家一起干。隨著數(shù)據(jù)量越來越大,很多公司都需要處理相當(dāng)多的數(shù)據(jù),沒有這么多機(jī)器可怎么辦呢?
 
   
 
  說到這里,就想起云計(jì)算的好處了吧,真的是想什么時候要,就什么時候要,想要多少就要多少。例如大數(shù)據(jù)分析企業(yè)的財(cái)務(wù)情況,可能一個月分析一次,如果要把這一百臺服務(wù)器或者一千臺服務(wù)器都在那擺著,一個月用一次吧,非常浪費(fèi)。那能不能需要計(jì)算的時候,把這一千臺服務(wù)器拿出來用,然后不用的時候,這一千臺機(jī)器可以去干別的事情。誰能做這個事兒呢?只有云計(jì)算服務(wù)商(比如文中提到的易邁云),能夠?yàn)榇髷?shù)據(jù)的運(yùn)算提供資源層面的靈活性。而云計(jì)算服務(wù)商也會部署大數(shù)據(jù)放到它的PaaS平臺上,作為一個非常重要的通用應(yīng)用。因?yàn)榇髷?shù)據(jù)平臺能夠使得多臺機(jī)器一起干一個事兒,這個東西不是一般人或團(tuán)隊(duì)能開發(fā)出來的,怎么也得雇個幾十上百號專業(yè)人才能把這個玩起來,所以說就像數(shù)據(jù)庫一樣,其實(shí)還是需要有一幫專業(yè)的人來玩這個東西。
 
  現(xiàn)在公有云服務(wù)商(像易邁云)就提出了相應(yīng)的大數(shù)據(jù)解決方案了,一個小公司需要大數(shù)據(jù)平臺的時候,不需要采購一千臺云主機(jī),只要到易邁云的官網(wǎng)上一點(diǎn),這一千臺機(jī)器都出來了,并且上面已經(jīng)部署好了的大數(shù)據(jù)平臺,只要把數(shù)據(jù)放進(jìn)去算就可以了。所以說,云計(jì)算需要大數(shù)據(jù),大數(shù)據(jù)需要云計(jì)算,兩個技術(shù)就這樣結(jié)合了。
THEEND

最新評論(評論僅代表用戶觀點(diǎn))

更多
暫無評論