淺析:大數據與云計算存在的關系

今日頭條
多智時代
眾所周知,云計算是大數據的基礎。如果將云計算技術比作一個容器,大數據正是存放在這個容器中的水,大數據是要依靠云計算技術來進行存儲和計算的,因此沒有云計算,大數據就不會出來。 首先要明白大家為何從前幾...

眾所周知,云計算是大數據的基礎。如果將云計算技術比作一個容器,大數據正是存放在這個容器中的水,大數據是要依靠云計算技術來進行存儲和計算的,因此沒有云計算,大數據就不會出來。

首先要明白大家為何從前幾年開始談大數據了?這是一個基本問題,包含著對當下數據現(xiàn)實的基本認識。一個不可忽視的事實是,隨著網絡和信息技術的不斷普及,人類產生的數據量正在呈指數級增長。大約每兩年翻一番,這意味著人類在最近兩年產生的數據量相當于之前產生的全部數據量。

對于如此巨量數據(而且單純的增量數據都是一個巨量),與之相關的存儲、分析、流轉、使用到交易等等環(huán)節(jié)產生了一系列關聯(lián)的問題,而在當下的時間節(jié)點,我們不得不明確面對,而不僅僅是先找個地方把數據存起來。

大數據是指無法在一定時間內使用傳統(tǒng)數據庫軟件工具對其內容進行抓取、管理和處理的數據集。大數據不僅僅是大,還有它的復雜性和沙里淘金的重要性。

傳統(tǒng)軟件處理的數量主要是結構化數據,而且數量上相對小。當規(guī)模大到需要新的技術方案的時候,那正是我們重新認識它的時候。

大數據有兩大特點,一是數據來源多源,包括各種結構化數據和非結構化數據,如網絡日志、視頻、圖片、地理位置信息等等,同時數量相對巨大,大數據中的‘大’本身就是一個相對的概念;二是數據處于“on line”即在線的狀態(tài),能夠隨時被吸取和關聯(lián),并進行分析。

一般來講,更多智能硬件和這能設備的加入,更多數據實時產生,于是就需要大數據技術來實現(xiàn)對數據信息的價值挖掘。大數據技術包括了數據采集,數據存取,基礎架構,數據處理,統(tǒng)計分析,數據挖掘,模型預測,結果呈現(xiàn)等八個方面。

而以上幾個方面都離不開云平臺和云計算能力,比如說數據采集之后的數據存儲,現(xiàn)在很多非核心敏感數據都可以存儲在云端;數據挖掘也是需要通過云計算和機器學習才能實現(xiàn)。那什么才是云計算呢?

所謂云計算,非常教科書的說法是“能通過網絡訪問可擴展的、靈活的、可共享的物理或虛擬資源池,并按需自助獲取和管理這些資源的模式。其中資源實例包括服務器、操作系統(tǒng)、網絡、軟件、應用和存儲設備等。 ”

從以上概念可以看出其包括軟件、硬件等資源,簡單說云計算有三層云平臺,第一個是Iaas(Infrastructure as a Service),基礎設施即服務,以前這些資源都是企業(yè)固有資源,現(xiàn)在可以不再擁有,通過平臺服務商提供,減輕部署成本;

第二個是Paas(Platform as a service),平臺即服務,開放式的API可以由合作方提供行業(yè)和內容的服務;

第三個是SaaS(Software as a service),軟件即服務。比如我們經常使用的手機APP等;

云計算有一個很重要的特點和優(yōu)勢就是資源池化,就是把Iaas,Paas,Saas層的資源(CPU、存儲、網絡等)放入到資源池中(云服務器),由云服務器進行集中管理。云計算里所有的服務都是通過資源池里的資源而提供的。

人工智能、深度學習,這些都是二十年前就有的技術,但是二十年前沒有大數據,沒有可以關聯(lián)的數據。所以大數據的故事從有了關聯(lián)才真正開始。

那如何應用大數據?首先要了解數據的生命周期。“布點”、“收集”、“存儲”,這些是前端,之后需要對數據做“識別”、“關聯(lián)”、“分析”。還有一個能把整個過程包起來的,就是“實時刷新”。這就是數據的生命周期,它是一個閉環(huán)。不管你怎么使用大數據,你首先要了解這個周期。

云計算是工業(yè)時代的電,大數據就是福特生產線,云存儲就是鋼鐵工業(yè)。也就是說,沒有鋼鐵,就沒有電,就不會有大規(guī)模工業(yè)化生產。沒有云計算,大數據不會出來,如果云計算沒有解決云存儲的問題,也不會出來。

如果簡單來講,我們可以通過一個圖來進行標識:

大數據時代,我們應該怎么理解大數據和云計算之間的關系

大數據是新一代信息技術的基礎性技術,被普遍認為是繼互聯(lián)網之后,能對全球社會、經濟、工業(yè)產生重大影響的技術。

面對一股面向大數據的市場狂熱,主要有兩種基本觀點:

第一,我不認為大數據對近一兩年GDP的貢獻有那么大,但肯定的說對于三年、五年之后的GDP貢獻巨大。換句話說,只有沉得下心,愿意扎扎實實打好基礎的政府和企業(yè),才能從大數據技術上獲益。

第二,大數據技術并不是已經成熟的技術,是一個正在從應用中逐漸走向成熟的技術,目前的挑戰(zhàn)多于成熟。

所以,要從整體視角來觀察大數據和云計算,而不能因為其中一個而偏廢其他,總體來講,大數據技術與云計算都是很有效的工具手段,有待人們去不斷挖掘。

歷史規(guī)律告訴我們,任何一次大型技術革命,早期人們總是高估它的影響,會有一輪一輪的泡沫;中期又會低估它的影響,覺得不過是些概念而已;當你覺得它是概念的時候,它已經開始生根發(fā)芽,開始茁壯成長。

(原標題:大數據時代,我們應該怎么理解大數據和云計算之間的關系)

THEEND