1、大數(shù)據(jù)發(fā)展概述
當(dāng)今是一個數(shù)據(jù)爆發(fā)增長的時代。移動互聯(lián)網(wǎng)、移動終端和數(shù)據(jù)傳感器的出現(xiàn)，使數(shù)據(jù)以超出人們想象的速度快速增長。據(jù)調(diào)查機(jī)構(gòu)估測，數(shù)據(jù)數(shù)量一直在快速增加，這個速度不僅是指數(shù)據(jù)流的增長，而且還包括全新的數(shù)據(jù)種類的增多。目前數(shù)據(jù)容量增長的速度，已經(jīng)大大超過了硬件技術(shù)的發(fā)展速度，并正在引發(fā)數(shù)據(jù)存儲和處理的危機(jī)。據(jù)統(tǒng)計，2013年全球產(chǎn)生的數(shù)據(jù)達(dá)到3.5澤字節(jié)，到2020年產(chǎn)生的數(shù)量將增至44澤字節(jié)。
“大數(shù)據(jù)”一詞來自于未來學(xué)家托夫勒于1980年所著的《第三次浪潮》。最早開始對大數(shù)據(jù)進(jìn)行應(yīng)用探索的是2005年雅虎公司的Hadoop項(xiàng)目。Hadoop其最初只是用來解決網(wǎng)頁搜索問題的一個項(xiàng)目，后被Apache Software Foundation公司引入并成為開源應(yīng)用。Hadoop是由多個軟件產(chǎn)品組成的一個生態(tài)系統(tǒng)，這些軟件產(chǎn)品共同實(shí)現(xiàn)全面功能和靈活的大數(shù)據(jù)分析。
世界上許多國家都已經(jīng)認(rèn)識到了大數(shù)據(jù)所蘊(yùn)含的重要戰(zhàn)略意義，紛紛開始在國家層面進(jìn)行戰(zhàn)略部署，以迎接大數(shù)據(jù)技術(shù)革命正在帶來的新的機(jī)遇和挑戰(zhàn)。以美國為代表的發(fā)達(dá)國家在推進(jìn)大數(shù)據(jù)上已經(jīng)形成了從發(fā)展戰(zhàn)略、法律框架到行動計劃的完整布局。
2、全球各國大數(shù)據(jù)的發(fā)展現(xiàn)狀
美國在《大數(shù)據(jù)研究和發(fā)展倡議》中，提出將通過收集龐大而復(fù)雜的數(shù)字資料，從中獲得知識和洞見，以提升能力。并協(xié)助加速在科學(xué)、工程上發(fā)現(xiàn)的步伐，強(qiáng)化美國國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式。根據(jù)這一計劃，美國希望利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)在多個領(lǐng)域的突破，包括科研教學(xué)、環(huán)境保護(hù)、工程技術(shù)、國土安全、生物醫(yī)藥等。其中具體的研發(fā)計劃涉及了美國國家科學(xué)基金會、國家衛(wèi)生研究院、國防部、能源部、國防部高級研究局、地質(zhì)勘探局等6個聯(lián)邦部門和機(jī)構(gòu)。
擁有世界第二多人口的印度，近兩年也持續(xù)運(yùn)用大數(shù)據(jù)，期許打造出一個更便利、更親民的智慧城市。印度全國軟件與服務(wù)企業(yè)協(xié)會(Nasscom)預(yù)計，印度大數(shù)據(jù)行業(yè)規(guī)模在三年內(nèi)將快速增長，是當(dāng)前規(guī)模的六倍，同時還是全球大數(shù)據(jù)行業(yè)平均增長速度的兩倍。對于印度的整個IT行業(yè)來說，大數(shù)據(jù)時代的到來會創(chuàng)造更多更新的機(jī)遇。
英國政府2012年時計劃在未來兩年內(nèi)，在大數(shù)據(jù)和節(jié)能計算研究上投資1.89億英鎊，以帶動企業(yè)在該領(lǐng)域的投資。大數(shù)據(jù)被英國看作是自己的優(yōu)勢所在，且英國認(rèn)為已在政府層面為大數(shù)據(jù)做好了準(zhǔn)備。
法國政府在2013年投入近1150萬歐元，用于7個大數(shù)據(jù)市場研發(fā)項(xiàng)目。目的在于“通過發(fā)展創(chuàng)新性解決方案，并將其用于實(shí)踐，來促進(jìn)法國在大數(shù)據(jù)領(lǐng)域的發(fā)展。”法國政府在《數(shù)字化路線圖》中列出了五項(xiàng)將大力支持的戰(zhàn)略性高新技術(shù)，大數(shù)據(jù)就是其中一項(xiàng)。
日本在2012新一輪IT振興計劃中，將發(fā)展大數(shù)據(jù)作為國家戰(zhàn)略層面提出，重點(diǎn)關(guān)注大數(shù)據(jù)應(yīng)用技術(shù)，如社會化媒體等智能技術(shù)的開發(fā)、新醫(yī)療技術(shù)的開發(fā)、以及交通擁堵治理等公共領(lǐng)域的應(yīng)用。
新加坡政府在大數(shù)據(jù)發(fā)展過程中充當(dāng)了關(guān)鍵角色，抓住了大數(shù)據(jù)發(fā)展的五大關(guān)鍵要素：基礎(chǔ)設(shè)施、產(chǎn)業(yè)鏈、人才、技術(shù)和立法，彌補(bǔ)了企業(yè)的短板。新加坡政府很早就提出支持新加坡企業(yè)采用大數(shù)據(jù)技術(shù)，利用大數(shù)據(jù)提升政府服務(wù)水平。
此外，澳大利亞、加拿大、新西蘭、德國和印度等國也在大數(shù)據(jù)領(lǐng)域進(jìn)行了研究部署，還紛紛推出本國的公共數(shù)據(jù)開放網(wǎng)站，以使更多的人可以使用大數(shù)據(jù)資源，并從中獲得利益。目前，全球至少擁有大大小小的數(shù)據(jù)開放網(wǎng)站50余個。
2.1歐盟大數(shù)據(jù)的發(fā)展
目前，歐盟及其成員國已經(jīng)明確制定大數(shù)據(jù)發(fā)展戰(zhàn)略，數(shù)據(jù)價值鏈不同階段產(chǎn)生的價值將成為未來知識經(jīng)濟(jì)的核心，利用好數(shù)據(jù)可以為運(yùn)輸、健康或制造業(yè)等傳統(tǒng)行業(yè)帶來新的機(jī)遇。
歐盟在大數(shù)據(jù)方面的活動主要涉及四方面內(nèi)容：研究數(shù)據(jù)價值鏈戰(zhàn)略因素；資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領(lǐng)域的研究和創(chuàng)新活動；實(shí)施開放數(shù)據(jù)政策；促進(jìn)公共資助科研實(shí)驗(yàn)成果和數(shù)據(jù)的使用及再利用。
（1）數(shù)據(jù)價值鏈戰(zhàn)略計劃
歐盟委員會正在研究制定數(shù)據(jù)價值鏈戰(zhàn)略計劃，以實(shí)現(xiàn)數(shù)據(jù)的最大價值，重點(diǎn)是通過一個以數(shù)據(jù)為核心的連貫性歐盟生態(tài)體系，讓數(shù)據(jù)價值鏈的不同階段產(chǎn)生價值。數(shù)據(jù)價值鏈的概念為數(shù)據(jù)的生命周期，從數(shù)據(jù)產(chǎn)生、驗(yàn)證以及進(jìn)一步加工后，以新的創(chuàng)新產(chǎn)品和服務(wù)形式出現(xiàn)的利用和再利用。
數(shù)據(jù)價值鏈戰(zhàn)略計劃遵循的主要原則是：高質(zhì)量數(shù)據(jù)的廣泛獲得性，包括公共資助數(shù)據(jù)
的免費(fèi)獲得；作為數(shù)字化單一市場一部分，歐盟內(nèi)數(shù)據(jù)的自由流動；尋求個人潛在隱私問題與其數(shù)據(jù)再利用潛力之間的適當(dāng)平衡，同時賦予公民以其希望形式使用自己數(shù)據(jù)的權(quán)利。
這一計劃的重點(diǎn)是培育一個連貫的歐洲數(shù)據(jù)生態(tài)系統(tǒng)，促進(jìn)圍繞數(shù)據(jù)的研究和創(chuàng)新工作，采納數(shù)據(jù)服務(wù)及產(chǎn)品，采取具體行動，改善數(shù)據(jù)價值提取的框架條件，包括基礎(chǔ)能力、基礎(chǔ)設(shè)備、標(biāo)準(zhǔn)以及有利的政策和法規(guī)環(huán)境。目前正在單一戰(zhàn)略框架下制定一系列重點(diǎn)行動，解決數(shù)據(jù)價值鏈中與價值創(chuàng)造相關(guān)的大量交叉問題。
數(shù)據(jù)價值鏈戰(zhàn)略計劃包括開放數(shù)據(jù)、云計算、高性能計算和科學(xué)知識開放獲取四大戰(zhàn)略。
·數(shù)據(jù)開放戰(zhàn)略
歐盟認(rèn)為，為加強(qiáng)創(chuàng)新潛力，應(yīng)盡可能的以最好的方式使用資源，這些創(chuàng)新資源就是數(shù)據(jù)，開放數(shù)據(jù)將成為新的就業(yè)和經(jīng)濟(jì)增長的重要工具。為了應(yīng)對這一變革，2010年11月歐盟通信委員會向歐洲議會提交了“開放數(shù)據(jù)：創(chuàng)新、增長和透明治理的引擎”的報告，報告以開放數(shù)據(jù)為核心，制定了應(yīng)對大數(shù)據(jù)挑戰(zhàn)的戰(zhàn)略。
·云計算戰(zhàn)略
2012年9月，歐委會通過公布了“釋放歐洲云計算服務(wù)潛力”戰(zhàn)略，戰(zhàn)略計劃通過兩年時間，把歐盟打造成云計算服務(wù)的強(qiáng)勢集團(tuán)，為2014-2020年期間的歐盟云起飛（夯實(shí)基礎(chǔ)。歐盟云計算戰(zhàn)略及三大關(guān)鍵行動分別為：規(guī)范和簡化的云計算標(biāo)準(zhǔn)；云計算安全和公平的合同條款及條件；建設(shè)歐盟云計算伙伴關(guān)系，驅(qū)動創(chuàng)新和增長。其它的具體行動舉措還包括：數(shù)據(jù)保護(hù)、網(wǎng)絡(luò)安全、信任舉措、云計算互操作性、寬帶部署、在線服務(wù)、公共行業(yè)首先參與云計算和國際對話與合作等。目前歐盟已成立6個戰(zhàn)略實(shí)施工作小組，具體涉及云標(biāo)準(zhǔn)協(xié)調(diào)、服務(wù)標(biāo)準(zhǔn)協(xié)議、認(rèn)證計劃、行為守則、專家研究小組和云伙伴關(guān)系。
·高性能計算戰(zhàn)略
在歐盟第七框架計劃和“地平線2020”計劃下的研究和創(chuàng)新支持可擴(kuò)展的高性能計算系統(tǒng)。小型“數(shù)據(jù)中心式開箱”可以單獨(dú)部署或集中在嵌入式系統(tǒng)在汽車或電話交換機(jī)，或者可以在大規(guī)模地聚集成為一個云服務(wù)器——如處理單元（GPU）或者高性能計算（HPC）系統(tǒng)。
·科學(xué)知識開放獲取
科學(xué)知識開放獲取的目標(biāo)是提高歐盟層面和成員國層面政府資助的科學(xué)研究的影響力，2012-2013年，歐盟委員會投入4500萬歐元建設(shè)支持開放共享和科學(xué)信息長期保存的基礎(chǔ)設(shè)施，并與各個相關(guān)利益團(tuán)體就開放共享和數(shù)字信息保存工作進(jìn)行對話，同時建議各成員國：制定本國的公共資助科研論文開放共享政策，探索科學(xué)數(shù)據(jù)開放共享和科學(xué)信息長期保存，支持相應(yīng)的基礎(chǔ)設(shè)施建設(shè)。2012年7月17日，歐盟委員會發(fā)布開放共享政策，宣布?xì)W盟Horizon2020計劃所資助科研論文全部實(shí)行開放共享。2013年12月25日，歐盟委員會宣布啟動試點(diǎn)，開放公共資助研究數(shù)據(jù)，2014-2015年，參與開放研究數(shù)據(jù)試點(diǎn)的關(guān)鍵領(lǐng)域的項(xiàng)目將獲得約30億歐元的經(jīng)費(fèi)。
（2）資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領(lǐng)域的研究和創(chuàng)新活動
歐盟委員會在資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領(lǐng)域的研究和創(chuàng)新活動外，還啟動“連接歐洲設(shè)施”（CEF）計劃，采取權(quán)益和債務(wù)證券及補(bǔ)助相結(jié)合的形式促進(jìn)數(shù)字基礎(chǔ)設(shè)施的建設(shè)。在2014年1月的信息和網(wǎng)絡(luò)日上，歐盟委員會確定了“地平線2020”連接歐洲設(shè)施計劃的2014-2015年工作內(nèi)容。
（3）實(shí)施開放數(shù)據(jù)政策
開放數(shù)據(jù)政策一方面制定公共信息再利用的法規(guī)和國家執(zhí)行規(guī)則以及歐盟委員會自身數(shù)據(jù)再利用規(guī)則；另一方面支持公共部門信息開放活動，此外還搭建開放數(shù)據(jù)平臺。
（4）促進(jìn)公共資助科研實(shí)驗(yàn)成果和數(shù)據(jù)的使用及再利用
促進(jìn)公共資助科研試驗(yàn)成果和數(shù)據(jù)的使用和再使用也稱科學(xué)知識開放獲取。
2.2亞洲大數(shù)據(jù)的發(fā)展
整體來說，相比歐洲，亞洲大數(shù)據(jù)發(fā)展相對落后，在大數(shù)據(jù)發(fā)展過程中，更多的還是探索及學(xué)習(xí)階段。目前，亞洲的很多大數(shù)據(jù)公司都在海外市場進(jìn)行了相關(guān)市場探索。未來，亞洲市場將有望成為大數(shù)據(jù)業(yè)務(wù)的主戰(zhàn)場，因?yàn)槭澜缈側(cè)丝诘?0%都居住在亞洲，且亞洲上網(wǎng)人數(shù)在不斷上升。
3、全球大數(shù)據(jù)的市場與應(yīng)用
3.1全球大數(shù)據(jù)交易現(xiàn)狀
對于海量并且瞬息萬變的大數(shù)據(jù)來說，存儲已然不是最終目標(biāo)，如何從數(shù)據(jù)中獲得包括商業(yè)價值在內(nèi)的紅利，才是其真正的意義所在。全球各個行業(yè)的數(shù)據(jù)存儲量，每年都在以50%多的速度暴增。由于缺乏規(guī)范的數(shù)據(jù)共享和交易渠道，不同行業(yè)間很難形成數(shù)據(jù)互利共享，數(shù)據(jù)交易平臺乃至交易所也就成為了迫切需求。
美國Factual公司成立于2008年，不僅向大公司提供數(shù)據(jù)，同時也面向規(guī)模較小的軟件開發(fā)商，每一條信息都有17到40條的相關(guān)描述。按浮動價格向公司和獨(dú)立軟件開發(fā)商出售數(shù)據(jù)，小規(guī)模的數(shù)據(jù)提供是免費(fèi)的，大型客戶需要支付的費(fèi)用則會達(dá)到成百上千萬美元。包括Facebook、CitySearch、AT&T及其他一些公司都會使用Factual來獲取相關(guān)信息。
2013年4月，富士通公司也宣布建立自己的“大數(shù)據(jù)”交易市場“Dataplaza”，并將交易中介服務(wù)培育為主力業(yè)務(wù)之一，計劃在2016年之前將參與企業(yè)增加至千家左右。
對于數(shù)據(jù)安全方面的問題，大數(shù)據(jù)交易平臺也已經(jīng)有所準(zhǔn)備。通過數(shù)據(jù)脫敏技術(shù)，對數(shù)據(jù)源的屬性進(jìn)行描述和標(biāo)注，如果涉及到敏感數(shù)據(jù)的調(diào)用，將進(jìn)行實(shí)時的數(shù)據(jù)清洗、技術(shù)屏蔽、審核處理，最終提供給需求方的數(shù)據(jù)也將在完成安全測試之后，再行提供。即使調(diào)用成功，也會在使用次數(shù)用盡或使用期限到期之后，對權(quán)限進(jìn)行收回。這一系列流程，不僅避免了用戶敏感數(shù)據(jù)的流出，也照顧到了開發(fā)者在線交易的便捷性。
3.2全球大數(shù)據(jù)市場規(guī)模
近兩年來，大數(shù)據(jù)發(fā)展浪潮席卷全球。隨著社會的進(jìn)步和信息通信技術(shù)的發(fā)展，信息系統(tǒng)在各行業(yè)、各領(lǐng)域快速拓展。這些系統(tǒng)采集、處理、積累的數(shù)據(jù)越來越多，數(shù)據(jù)量增速越來越快，以至用“海量、爆炸性增長”等詞匯已無法形容數(shù)據(jù)的增長速度。
2014年，全球大數(shù)據(jù)市場規(guī)模達(dá)到約285億美元，實(shí)現(xiàn)53.23%的增長，比2013年57.63%的增速略有回落，但快速增長態(tài)勢不變，且呈現(xiàn)出應(yīng)用成為新增長動力、競爭態(tài)勢愈加激烈、融資并購成為市場熱點(diǎn)、產(chǎn)業(yè)生態(tài)不斷優(yōu)化和基礎(chǔ)設(shè)施建設(shè)更加合理等特點(diǎn)。
2015年，全球大數(shù)據(jù)總體加速發(fā)展趨勢不變，全球大數(shù)據(jù)市場規(guī)模將達(dá)到421億美元，預(yù)計2020年全球大數(shù)據(jù)市場規(guī)模將達(dá)到1263.21億美元，同比增長17.51%。
大數(shù)據(jù)成為全球IT支出新的增長點(diǎn)。數(shù)據(jù)顯示，2014年數(shù)據(jù)中心系統(tǒng)支出達(dá)1430億美元，比2013年增長2.30%。預(yù)計2015年大企業(yè)對與大數(shù)據(jù)有關(guān)的項(xiàng)目的平均開支將達(dá)到1800萬美元，目前，70%的大企業(yè)和56%的中小企業(yè)已經(jīng)部署或者正在計劃部署與大數(shù)據(jù)有關(guān)的項(xiàng)目和計劃。
3.3全球大數(shù)據(jù)市場結(jié)構(gòu)及應(yīng)用領(lǐng)域
2014年，全球大數(shù)據(jù)市場結(jié)構(gòu)從壟斷競爭向完全競爭格局演化。企業(yè)數(shù)量迅速增多，產(chǎn)品和服務(wù)的差異度增大，技術(shù)門檻逐步降低，市場競爭越發(fā)激烈。
全球大數(shù)據(jù)市場中，行業(yè)解決方案、計算分析服務(wù)、存儲服務(wù)、數(shù)據(jù)庫服務(wù)和大數(shù)據(jù)應(yīng)用為市場份額排名最靠前的細(xì)分市場，分別占據(jù)35.40%、17.30%、14.70%、12.50%和7.90%的市場份額。云服務(wù)的市場份額為6.30%，基礎(chǔ)軟件占據(jù)3.90%的市場份額，網(wǎng)絡(luò)服務(wù)僅占據(jù)了2.00%的市場份額。
4、大數(shù)據(jù)發(fā)展趨勢
（1）成為重要戰(zhàn)略資源
在未來一段時間內(nèi)，大數(shù)據(jù)將成為企業(yè)、社會和國家層面重要的戰(zhàn)略資源。大數(shù)據(jù)將不斷成為各類機(jī)構(gòu)，尤其是企業(yè)的重要資產(chǎn)，成為提升機(jī)構(gòu)和公司競爭力的有力武器。企業(yè)將更加鐘情于用戶數(shù)據(jù)，充分利用客戶與其在線產(chǎn)品或服務(wù)交互產(chǎn)生的數(shù)據(jù)，并從中獲取價值。此外，在市場影響方面，大數(shù)據(jù)也將扮演重要角色——影響著廣告、產(chǎn)品推銷和消費(fèi)者行為。
（2）數(shù)據(jù)隱私標(biāo)準(zhǔn)將出臺
大數(shù)據(jù)將面臨隱私保護(hù)的重大挑戰(zhàn)，現(xiàn)有的隱私保護(hù)法規(guī)和技術(shù)手段難以適應(yīng)大數(shù)據(jù)環(huán)境，個人隱私越來越難以保護(hù)，有可能會出現(xiàn)有償隱私服務(wù)，數(shù)據(jù)“面罩”將會流行。預(yù)計各國都將會有一系列關(guān)于數(shù)據(jù)隱私的標(biāo)準(zhǔn)和條例出臺。
（3）與云計算深度融合
大數(shù)據(jù)處理離不開云計算技術(shù)，云計算為大數(shù)據(jù)提供彈性可擴(kuò)展的基礎(chǔ)設(shè)施支撐環(huán)境以及數(shù)據(jù)服務(wù)的高效模式，大數(shù)據(jù)則為云計算提供了新的商業(yè)價值。總體而言，云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，既是產(chǎn)生大數(shù)據(jù)的地方，也是需要大數(shù)據(jù)分析方法的領(lǐng)域。
（4）分析方法發(fā)生變革
大數(shù)據(jù)分析將出現(xiàn)一系列重大變革。就像計算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)可能是新一波的技術(shù)革命。基于大數(shù)據(jù)的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能可能會改變小數(shù)據(jù)里的很多算法和基礎(chǔ)理論，這方面很可能會產(chǎn)生理論級別的突破。
（5）網(wǎng)絡(luò)安全問題凸顯
大數(shù)據(jù)的安全令人擔(dān)憂，大數(shù)據(jù)的保護(hù)越來越重要。大數(shù)據(jù)的不斷增加，對數(shù)據(jù)存儲的物理安全性要求會越來越高，從而對數(shù)據(jù)的多副本與容災(zāi)機(jī)制提出更高的要求。網(wǎng)絡(luò)和數(shù)字化生活使得犯罪分子更容易獲得關(guān)于人的信息，也有了更多不易被追蹤和防范的犯罪手段，可能會出現(xiàn)更高明的騙局。
（6）以數(shù)據(jù)為中心的解決方案與應(yīng)用的興起
世界已經(jīng)不再將應(yīng)用作為獨(dú)有的優(yōu)勢，相反，數(shù)據(jù)則能夠帶來在B2B和B2C領(lǐng)域內(nèi)確立獨(dú)特優(yōu)勢的關(guān)鍵點(diǎn)。在數(shù)據(jù)管理中，以數(shù)據(jù)為中心的模式將會取代傳統(tǒng)以應(yīng)用為中心的模式。
