物聯(lián)網(wǎng)就是萬物互聯(lián),就是移動(dòng)互聯(lián),不再是人和人之間的鏈接而是機(jī)器和機(jī)器,設(shè)備和設(shè)備,系統(tǒng)和系統(tǒng)。
在不久的將來,物聯(lián)網(wǎng)的設(shè)備將爆增,有可能是千億,也可能是萬億,像這么一個(gè)龐大的網(wǎng)絡(luò),如果還是以中心化的組網(wǎng)模式去管理的話,數(shù)據(jù)中心的基礎(chǔ)設(shè)施投入維護(hù)應(yīng)該是沒辦法估量的。
大數(shù)據(jù)本質(zhì)上來講,屬于數(shù)據(jù)庫的一個(gè)小分支,這樣就把這個(gè)問題歸結(jié)為和數(shù)據(jù)庫的關(guān)系。數(shù)據(jù)庫在軟件、在互聯(lián)網(wǎng)界、在IT界其實(shí)是個(gè)特別古老的研究領(lǐng)域,從最初的文件系統(tǒng)到ER模型到后來引發(fā)的大家都知道的傳統(tǒng)數(shù)據(jù)庫的三大成就,關(guān)系模型、事務(wù)處理、查詢優(yōu)化,一直到后來互聯(lián)網(wǎng)盛行以后的NOSql數(shù)據(jù)庫的崛起,數(shù)據(jù)庫技術(shù)在不停發(fā)展、在變化,那么也包括以XML為代表的半結(jié)構(gòu)化,文本、語音等非結(jié)構(gòu)化的數(shù)據(jù)處理等等。
區(qū)塊鏈和數(shù)據(jù)庫的關(guān)系看起來其實(shí)也就是這樣一種關(guān)系,從數(shù)據(jù)庫技術(shù)演進(jìn)的過程,我們可以發(fā)現(xiàn),它總是來源于要怎么去滿足新的業(yè)務(wù)需求,然后創(chuàng)造出新的這些數(shù)據(jù)處理技術(shù)。比如從最開始的文件系統(tǒng),為什么我們需要ER的這種模型呢,是因?yàn)榻鹑谛袠I(yè)的發(fā)展,大家對(duì)于這些快速的記帳、高并發(fā)數(shù)據(jù)寫入和訪問,有了進(jìn)一步的需求,從而導(dǎo)致了實(shí)體關(guān)系模型的產(chǎn)生以及快速的發(fā)展。后來為什么NOSql數(shù)據(jù)庫會(huì)出現(xiàn)呢?就是因?yàn)榛ヂ?lián)網(wǎng)的快速發(fā)展對(duì)數(shù)據(jù)庫提出了更高更新的要求,所以本質(zhì)上我們認(rèn)為整個(gè)互聯(lián)網(wǎng)就是一個(gè)大的數(shù)據(jù)庫。
事物總是在不斷發(fā)展的,當(dāng)然我們通過NOSql數(shù)據(jù)庫、云存儲(chǔ)這些技術(shù)解決的互聯(lián)網(wǎng)海量實(shí)時(shí)數(shù)據(jù)處理問題之后,下一個(gè)問題一定就來了,那就是如何以規(guī)?;姆绞絹斫鉀Q數(shù)據(jù)的真實(shí)性和有效性。
舉個(gè)例子,可能跟我們的飲食相關(guān),從一開始的溫飽問題,到營(yíng)養(yǎng)結(jié)構(gòu)問題,再到大家所關(guān)注的食品安全問題,數(shù)據(jù)庫的發(fā)展其實(shí)也是一樣,當(dāng)我們通過ER實(shí)體關(guān)系模型,通過NOSql數(shù)據(jù)庫能夠很好的解決數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)訪問的這些問題的時(shí)候,接下來大家要去關(guān)心的,要去解決的那一定是真實(shí)性、有效性的問題。
所以到了這個(gè)階段,以區(qū)塊鏈為代表的這些技術(shù),對(duì)數(shù)據(jù)真實(shí)有效不可偽造、無法篡改的這些要求,相對(duì)于現(xiàn)在的數(shù)據(jù)庫來講,肯定是一個(gè)新的起點(diǎn)和新的要求。我們可以清晰的感受到,數(shù)據(jù)庫與區(qū)塊鏈融合趨勢(shì),其實(shí)是非常緊密的、無法阻擋,好像剛才說的電影,內(nèi)容的制作方開始向虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)這個(gè)方向發(fā)展一樣;從數(shù)據(jù)庫的角度,區(qū)塊鏈就是一種新型的數(shù)據(jù)組織方式。我們認(rèn)為大數(shù)據(jù)、區(qū)塊鏈?zhǔn)莾烧吆弦坏摹?/p>
1、物聯(lián)網(wǎng)
(1)物聯(lián)網(wǎng)的定義與影響
物聯(lián)網(wǎng)的英文名稱為:Internet of things,簡(jiǎn)稱是(IoT)。可以看出,物聯(lián)網(wǎng)就是物物相連的互聯(lián)網(wǎng)。圖見1。
從上述定義可以看出,一是物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng),是在現(xiàn)有人與人相連的互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴(kuò)展;二是用戶端延伸和擴(kuò)展到了任何物品與物品之間。
物聯(lián)網(wǎng)成熟之后,真正實(shí)現(xiàn)了萬物互聯(lián),即“人與人、人與物、物與物”互聯(lián),世間一切都連接起來。物聯(lián)網(wǎng)使得連接起來的終端呈指數(shù)級(jí)增長(zhǎng),產(chǎn)生的數(shù)據(jù)也會(huì)呈指數(shù)級(jí)增長(zhǎng)。物聯(lián)網(wǎng)必將是下一個(gè)推動(dòng)世界高速發(fā)展的“重要生產(chǎn)力”,一方面可以提高經(jīng)濟(jì)效益,大大節(jié)約成本;另一方面可以為全球經(jīng)濟(jì)的復(fù)蘇提供技術(shù)動(dòng)力,將是繼通信網(wǎng)之后的另一個(gè)萬億級(jí)市場(chǎng)。
(2)物聯(lián)網(wǎng)的特征
一是各種感知技術(shù)的廣泛應(yīng)用,物聯(lián)網(wǎng)上部署了海量的多種類型傳感器。
二是建立在互聯(lián)網(wǎng)上的泛在網(wǎng)絡(luò),物聯(lián)網(wǎng)技術(shù)的重要基礎(chǔ)和核心仍舊是互聯(lián)網(wǎng)。
三是物聯(lián)網(wǎng)不僅提供了傳感器的連接,其本身也具有智能處理的能力,能夠?qū)ξ矬w實(shí)施智能控制。
四是物聯(lián)網(wǎng)能夠強(qiáng)化與用戶之間的良性互動(dòng),更佳的用戶體驗(yàn),是通往智能生活的物理支撐。
2、區(qū)塊鏈
(1)區(qū)塊鏈含義及特點(diǎn)
區(qū)塊鏈2008年由中本聰?shù)谝淮翁岢?,有狹義和廣義之分。狹義上講,區(qū)塊鏈?zhǔn)且环N按照時(shí)間順序?qū)?shù)據(jù)區(qū)塊以順序相連的方式組合成的一種鏈?zhǔn)綌?shù)據(jù)結(jié)構(gòu), 并以密碼學(xué)方式保證的不可篡改和不可偽造的分布式賬本。
廣義來講,區(qū)塊鏈技術(shù)是利用塊鏈?zhǔn)綌?shù)據(jù)結(jié)構(gòu)來驗(yàn)證與存儲(chǔ)數(shù)據(jù)、利用分布式節(jié)點(diǎn)共識(shí)算法來生成和更新數(shù)據(jù)、利用密碼學(xué)的方式保證數(shù)據(jù)傳輸和訪問的安全、利用由自動(dòng)化腳本代碼組成的智能合約來編程和操作數(shù)據(jù)的一種全新的分布式基礎(chǔ)架構(gòu)與計(jì)算范式。
區(qū)塊鏈采取分布式數(shù)據(jù)存儲(chǔ)、點(diǎn)對(duì)點(diǎn)傳輸、共識(shí)機(jī)制、加密算法等技術(shù),具有去中心化、開放性、自治性、不可篡改性、匿名性等特點(diǎn),能夠有效地在不同節(jié)點(diǎn)之間建立信任、獲取權(quán)益。
(2)區(qū)塊鏈的發(fā)展和應(yīng)用
區(qū)塊鏈的最早應(yīng)用是數(shù)字貨幣,比特幣是典型代表,目前1比特幣的價(jià)格已經(jīng)超過40000人民幣,其他的還有l(wèi)itecoin、dogecoin、dashcoin等等。
目前,區(qū)塊鏈應(yīng)用最廣的是金融領(lǐng)域,此外還在智能合約、證券交易、電子商務(wù)、物聯(lián)網(wǎng)、社交通訊、文件存儲(chǔ)、存在性證明、身份驗(yàn)證、股權(quán)眾籌、版權(quán)保護(hù)等領(lǐng)域有廣泛應(yīng)用。
區(qū)塊鏈的進(jìn)化方式是:區(qū)塊鏈1.0——數(shù)字貨幣;區(qū)塊鏈2.0——數(shù)字資產(chǎn)與智能合約;區(qū)塊鏈3.0——DAO、DAC(區(qū)塊鏈自洽組織、區(qū)塊鏈自洽公司)。
區(qū)塊鏈技術(shù)被認(rèn)為是繼蒸汽機(jī)、電力、互聯(lián)網(wǎng)之后,下一代顛覆性的核心技術(shù),區(qū)塊鏈作為構(gòu)建信任的機(jī)器,有可能徹底改變整個(gè)人類社會(huì)價(jià)值傳遞的方式。
3、大數(shù)據(jù)
1989年,當(dāng)萬維網(wǎng)出現(xiàn)之后,給我們帶來了第四次傳播革命,互聯(lián)網(wǎng)以其海量的空間、互動(dòng)的方式,使得信息數(shù)量急劇增加,根據(jù)ZDNET的數(shù)據(jù)顯示,2013 年中國(guó)產(chǎn)生的數(shù)據(jù)總量超過0.8ZB,2 倍于2012 年,相當(dāng)于2009 年全球的數(shù)據(jù)總量,而預(yù)計(jì)到2020年,中國(guó)產(chǎn)生的數(shù)據(jù)總量將達(dá)到16ZB。尤其在“摩爾定律”使得存儲(chǔ)能力極速提升、社交媒體的出現(xiàn)使得生產(chǎn)數(shù)據(jù)的能力高速發(fā)展、新數(shù)據(jù)挖掘技術(shù)使得數(shù)據(jù)分析能力大大擴(kuò)展三大動(dòng)力的推動(dòng)下,全世界進(jìn)入了大數(shù)據(jù)時(shí)代,2013年也被稱為大數(shù)據(jù)元年,意味著大數(shù)據(jù)開始進(jìn)入商用階段。
(1)大數(shù)據(jù)及其本質(zhì)特征
大數(shù)據(jù)是指以服務(wù)于決策為目的,需要新型數(shù)據(jù)處理模式才能對(duì)其內(nèi)容進(jìn)行采集、存儲(chǔ)、管理和分析的海量、高增長(zhǎng)率和多樣化的信息資本。
大數(shù)據(jù)具有如下本質(zhì)特征:一是根本目的是服務(wù)于決策,大數(shù)據(jù)能夠幫助各類組織和個(gè)人大幅度提升決策能力,做出更好的決策和判斷;二是量度大,大數(shù)據(jù)通常是指100T以上的數(shù)據(jù)量,這難以依靠傳統(tǒng)的計(jì)算手段有效計(jì)算,而必須依靠新的計(jì)算手段和數(shù)據(jù)挖掘工具;三是頻率高,大數(shù)據(jù)是用戶參與與互動(dòng)而產(chǎn)生的數(shù)據(jù),根據(jù)用戶的網(wǎng)絡(luò)痕跡來及時(shí)地了解用戶的相關(guān)數(shù)據(jù),這種數(shù)據(jù)是按照天甚至小時(shí)來計(jì)的高頻數(shù)據(jù)。而傳統(tǒng)的數(shù)據(jù)頻率都很低,很多數(shù)據(jù)是按照月甚至按照年份來計(jì)算的;四是速度快,大數(shù)據(jù)是實(shí)時(shí)性的數(shù)據(jù),能夠?qū)崟r(shí)反應(yīng)。例如,在百度搜索框輸入一個(gè)關(guān)鍵詞,能夠瞬間呈現(xiàn),而傳統(tǒng)的數(shù)據(jù)收集方式則是嚴(yán)重滯后的;五是維度豐富多樣,大數(shù)據(jù)是全樣本數(shù)據(jù)、多維度數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù),既包括普通的結(jié)構(gòu)化數(shù)據(jù),又包括視頻和音頻等非結(jié)構(gòu)化數(shù)據(jù)。正是因?yàn)榇髷?shù)據(jù)的維度多樣性,其也更為復(fù)雜。六是永遠(yuǎn)在線。在線是大數(shù)據(jù)的前提條件,從這個(gè)角度來說,大數(shù)據(jù)是永遠(yuǎn)在線的,能夠隨時(shí)被調(diào)用的。大數(shù)據(jù)通過分析各種網(wǎng)絡(luò)終端上的用戶痕跡,能夠更好地分析用戶的行為、情感、思想、愛好與需求,來更好地進(jìn)行決策和分析。七是本質(zhì)是信息資本。大數(shù)據(jù)是能夠?yàn)檎推髽I(yè)帶來未來經(jīng)濟(jì)利益的信息資源,其本質(zhì)是信息資產(chǎn),而且隨著大數(shù)據(jù)的應(yīng)用越來越廣,其價(jià)值會(huì)越來越大。因此,不應(yīng)該僅僅把大數(shù)據(jù)看成成本,而把其看成和土地、資本、人才等一樣的新生產(chǎn)要素。
(2)政府?dāng)?shù)據(jù)公開是大數(shù)據(jù)發(fā)展的保障
大數(shù)據(jù)的重要組成部分是政府?dāng)?shù)據(jù),因此政府?dāng)?shù)據(jù)公開的程度和廣度將在很大程度上決定著大數(shù)據(jù)的發(fā)展水平。目前,美國(guó)等西方發(fā)達(dá)國(guó)家大力推進(jìn)數(shù)據(jù)開放運(yùn)動(dòng),在數(shù)據(jù)公開程度上居于世界前列。2011年9月20日,美國(guó)、巴西、印度尼西亞、墨西哥、挪威、菲律賓、南非、英國(guó)等八個(gè)國(guó)家(G8)聯(lián)合簽署了《開放數(shù)據(jù)聲明》,在紐約發(fā)起“開放政府聯(lián)盟”(OGP),以向本國(guó)社會(huì)開放更多的信息。2013年6月,8國(guó)集團(tuán)首腦簽署了《開放數(shù)據(jù)憲章》,制定開放數(shù)據(jù)行動(dòng)方案,并設(shè)定了開放數(shù)據(jù)憲章的五大原則:開放數(shù)據(jù)為默認(rèn);為激勵(lì)創(chuàng)新發(fā)布數(shù)據(jù);為改善治理發(fā)布數(shù)據(jù);注重?cái)?shù)量和質(zhì)量;讓所有人可用。尤其需要指出的是,其中最重要的一條就是“開放為默認(rèn),不開放為特例”的原則,這就約束政府部門盡最大可能地公開所有數(shù)據(jù),而反觀我國(guó),由于政府?dāng)?shù)據(jù)開放的程度很低,各部門基于自身的利益,基本上采取的是“開放為特例,不開放為默認(rèn)”的原則,這也導(dǎo)致形成一個(gè)個(gè)的“信息孤島”。
2007年,國(guó)務(wù)院通過了《中華人民共和國(guó)政府信息公開條例》,國(guó)務(wù)院辦公廳印發(fā)的《2015年政府信息公開工作要點(diǎn)》更加明確地強(qiáng)調(diào)推進(jìn)行政權(quán)力清單、財(cái)政資金、公共服務(wù)、國(guó)有企業(yè)、環(huán)境保護(hù)等九大領(lǐng)域的信息公開工作。2015年8月19日,國(guó)務(wù)院總理李克強(qiáng)主持召開國(guó)務(wù)院常務(wù)會(huì)議,通過《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要》。目前,我國(guó)的政府?dāng)?shù)據(jù)開放存在著五大挑戰(zhàn):一是開放與安全,在實(shí)踐中,很多人以數(shù)據(jù)安全為由來反對(duì)數(shù)據(jù)開放,這是一種很片面的觀點(diǎn);二是人才和文化,我國(guó)的數(shù)據(jù)人才在量和質(zhì)上都存在重大缺陷,而且也沒有形成“數(shù)據(jù)文化”;三是政策標(biāo)準(zhǔn)不統(tǒng)一;四是政策法規(guī)不健全。
我國(guó)在政府?dāng)?shù)據(jù)開放方面,我國(guó)存在三大主要問題:一是我國(guó)尚未建立起全國(guó)統(tǒng)一的大數(shù)據(jù)平臺(tái),導(dǎo)致形成一個(gè)個(gè)的信息孤島,影響了政府?dāng)?shù)據(jù)開放的成效;二是我國(guó)的數(shù)據(jù)污染很嚴(yán)重,很多原始數(shù)據(jù)存在夸大或瞞報(bào)現(xiàn)象;三是一些地方?jīng)]有把大數(shù)據(jù)當(dāng)成政府公共服務(wù)的重要部分,而當(dāng)成盈利的資源。
(3)大數(shù)據(jù)蘊(yùn)藏著新哲學(xué)思想和優(yōu)勢(shì)
首先,大數(shù)據(jù)拓展了新的哲學(xué)思想。大數(shù)據(jù)既能處理“因果關(guān)系”又能處理“相關(guān)關(guān)系”,即不僅能夠回答“為什么”又能回答“是什么”。在小數(shù)據(jù)時(shí)代,只能通過抽樣調(diào)查的方式來回答“為什么”。而大數(shù)據(jù)則能通過全樣本的方式來回答“是什么”,即發(fā)現(xiàn)相關(guān)關(guān)系,這能夠幫助我們更好地地認(rèn)識(shí)和了解世界。例如,沃爾瑪發(fā)現(xiàn)在尿布旁邊放上啤酒能夠提高啤酒的銷量,就把尿布和啤酒混搭銷售。毫無疑問,尿布和啤酒之間并無因果關(guān)系,而二者在一起就形成很好的相關(guān)關(guān)系。
其次,大數(shù)據(jù)分析具有顯著優(yōu)勢(shì)。一是大數(shù)據(jù)能夠?qū)崿F(xiàn)分析的高度智能化,既能實(shí)現(xiàn)信息收集和分析的智能化,又能實(shí)現(xiàn)數(shù)據(jù)與用戶需求的有效匹配;二是及時(shí)、迅速。大數(shù)據(jù)分析改變之前的市場(chǎng)調(diào)研和數(shù)據(jù)分析相對(duì)滯后的模式和方式,能夠及時(shí)、迅速地進(jìn)行分析。例如,傳統(tǒng)的市場(chǎng)調(diào)研一般耗時(shí)幾個(gè)月,而基于互聯(lián)網(wǎng)的大數(shù)據(jù)調(diào)研則只需要幾天就能得到調(diào)研結(jié)果;三是成本相對(duì)較低。由于可以大量使用技術(shù)手段,其成本相應(yīng)較低。一般來說,傳統(tǒng)的市場(chǎng)調(diào)研方式,每一份問卷都需要近百元,而互聯(lián)網(wǎng)調(diào)研一份問卷只需要4元左右。
(4)大數(shù)據(jù)實(shí)施的三大關(guān)鍵點(diǎn)
首先,數(shù)據(jù)的可獲得度。目前在國(guó)內(nèi),大數(shù)據(jù)的發(fā)展嚴(yán)重受制于政府信息的公開性不夠,很多數(shù)據(jù)難以獲得,導(dǎo)致難以實(shí)現(xiàn)真正的大數(shù)據(jù)挖掘和分析,這就要求政府及時(shí)開放更多的數(shù)據(jù),以提高數(shù)據(jù)的可獲得度。
其次,進(jìn)行科學(xué)的模型建構(gòu)。模型的科學(xué)性直接決定著數(shù)據(jù)分析的質(zhì)量,這就要求有高超的建模水平,當(dāng)然數(shù)據(jù)量越多也有助于模型的合理構(gòu)建。
第三,利用專家對(duì)觀點(diǎn)進(jìn)行提煉。為決策提供依據(jù)的基于數(shù)據(jù)挖掘的獨(dú)到、高質(zhì)量的觀點(diǎn),高度依賴于高質(zhì)量的數(shù)據(jù)解釋,這就體現(xiàn)了行業(yè)專家的價(jià)值。