數(shù)據(jù)能夠給企業(yè)帶來價值,因此越來越多的企業(yè)開始收集、管理數(shù)據(jù)。但隨著數(shù)據(jù)的不斷激增,現(xiàn)有的數(shù)據(jù)存儲系統(tǒng)已經無法滿足企業(yè)的需求,沒法分析大數(shù)據(jù),限制了大數(shù)據(jù)的增長,而云計算的出現(xiàn)恰巧解決了這個問題。
云計算“云計算(cloudcomputing)”于2006年被Google的EricESchmidt首次提出后,就受到廣泛推崇。云計算在GFS(GoogleFileSystem)、BigTable和Map Reduce基礎上發(fā)展而來,是一種基于互聯(lián)網而能夠無處不在、無時無刻、便捷、按需獲取計算資源的共享池模式。
那么科多大數(shù)據(jù)帶大家來探究。云計算方案著重解決了大數(shù)據(jù)的存儲和處理兩大難題。
云計算解決了大數(shù)據(jù)儲存和處理哪兩大難題?
1、基于云的大數(shù)據(jù)存儲。云計算的關鍵技術之一GFS是基于Linux的專有分布式文件系統(tǒng),它奠定了云存儲的基礎;TolgaSoyata設計了一種基于移動云的混合架構(MOCHA),為解決大量移動終端數(shù)據(jù)存儲和未來單兵信息化作戰(zhàn)的數(shù)據(jù)交換提供了啟發(fā);SwarnavaDey基于云“key-value”存儲和傳感器網絡,探索了多媒體的存儲和監(jiān)控。
2、基于云的大數(shù)據(jù)處理。云計算的關鍵技術---MapReduce,它能高效利用網絡節(jié)點完成并行處理和分析大規(guī)模數(shù)據(jù)集?,F(xiàn)有研究中,“云”多作為應用和開發(fā)的平臺,如DivyakantAgrawal探索了集成在云平臺之上的DBMS應對密集網絡應用程序中的大數(shù)據(jù)處理問題;RamanathanSugumaran借助AmazonEC2處理3-D空間數(shù)據(jù),為大數(shù)據(jù)非結構化數(shù)據(jù)處理帶來了新的思路。
在大數(shù)據(jù)使用的整個信息流環(huán)節(jié)中,云計算在信息存儲和數(shù)據(jù)處理兩個環(huán)節(jié)發(fā)揮無可替代的作用,也正因為有云計算的超強計算能力大數(shù)據(jù)才突顯出自身的價值。雖然云計算已經發(fā)展到較為成熟的階段,但面臨大數(shù)據(jù)的新挑戰(zhàn),其還有很大的提升空間,如標準化API接口更好適應數(shù)據(jù)鎖定、修復大型分布式系統(tǒng)的漏洞、提高存儲容量的伸縮性、改善磁盤I/O負載均衡、擴充閃存容量、升級數(shù)據(jù)的保密性和可審計性、突破數(shù)據(jù)轉換瓶頸、確保性能穩(wěn)定等。其次,數(shù)據(jù)管理中跨平臺數(shù)據(jù)操作的靈活性、安全性、適用性以及數(shù)據(jù)重組語義的一致性也是目前一個有待解決的難題。
最后,科多大數(shù)據(jù)完全相信,大數(shù)據(jù)的興起也將推動云計算的發(fā)展,更多的目光將投向云計算與經典算法、分析技術和可視化展示的方向發(fā)展,目前云計算正向著“分析即服務(AnalysisasaService,AaaS)”的cloud2.0時代邁進。希望小伙伴們能跟著大數(shù)據(jù)的腳步,在大數(shù)據(jù)行業(yè)走的更遠,科多大數(shù)據(jù)愿在你起航之時,為你提供能展翅飛翔的翅膀。
(原標題:云計算解決了大數(shù)據(jù)儲存和處理哪兩大難題?)