伴隨著5G時代的到來,應(yīng)用變得越來越豐富、用戶數(shù)量也越來越多,這就導致數(shù)據(jù)成幾何級增長,據(jù)IDC預測,全球數(shù)據(jù)總量預計2020年達到44個ZB,我國數(shù)據(jù)量將達到8060個EB,占全球數(shù)據(jù)總量的18%。海量數(shù)據(jù)的存儲給本地存儲帶了巨大壓力,存儲系統(tǒng)已經(jīng)不堪重負,處于崩潰的邊緣,因此,必須通過其他手段分散存儲系統(tǒng)壓力,IPFS分布式存儲便應(yīng)運而生。
傳統(tǒng)的HTTP中央服務(wù)器集中式存儲方式,隨著移動互聯(lián)網(wǎng)的到來,讓我們進入了信息爆炸時代,隨著數(shù)據(jù)和信息量的幾何式增長,它的弊端也就越來越明顯。
一:公開透明,沒有秘密
比如說我今天要傳一張非常隱私的一張圖片或者一些信息給到你。那您可能知道,我也知道,我們以為別人是不知道的。但是我們都忽略了最重要的一點:我們發(fā)的圖片和信息,可能中央服務(wù)器里面還有。如果說有人有黑客,或者一些別有用心的人,他能攻破這個服務(wù)器,只需要在中心數(shù)據(jù)庫里面就可以調(diào)出發(fā)給你的這張圖片和信息,相當于我們的隱私就已經(jīng)被曝光了。
二:容易被破壞
這種集中式中央服務(wù)器的存儲都有一個專用的,體量比較大的一個機房,或者是服務(wù)器在哪里放著。那如果地震來了,發(fā)生火災或者樓房塌了等一些不可控意外出現(xiàn),那我們之前存儲的數(shù)據(jù)就全部丟失了。
三:傳輸速度不夠快
我們很多人覺得目前互聯(lián)網(wǎng)的速度確實已經(jīng)夠快了,但是它還是有一些隱患。舉個例子,我們每個人傳輸數(shù)據(jù),傳輸圖片的話,需要先經(jīng)過中央服務(wù)器處理,再傳輸?shù)綄Ψ降氖謾C或者是電腦里面。如果服務(wù)器在南方,你在北方,那這個圖片就要通過南方的服務(wù)器傳輸?shù)侥隳抢?。如果說您在國外的話,那就可能相對而言更要慢很多。
四:存儲的永久性
中央服務(wù)器的存儲要占很大的空間,比如說我們在銀行的記錄,我們要去調(diào)查,五年前的基本上是看不到了。那為什么這個數(shù)據(jù)會沒有了,其實是銀行系統(tǒng)會把它們刪掉了。因為每天每月每年都會產(chǎn)生非常多的數(shù)據(jù),如果不刪掉的話,就要不斷的擴大這個存儲的空間,成本是非常高的。比如說我們家庭住的小區(qū),小區(qū)或者車庫的一些攝像頭錄像數(shù)據(jù),可能只能看到兩個月前甚至一個月前的資料,更早之前的都會被處理刪掉。
五:存儲成本高
我們做過一個調(diào)查,像騰訊一年都需要花上百億來做這樣的存儲,還有像抖音之類的短視頻平臺,他們在這個存儲上面也是需要投入很大的一筆資金。而且隨著5G時代的到來,數(shù)據(jù)量是4G的幾十倍甚至上百倍,那就也意味著我們需要的存儲空間會更大,速度要更快。
IPFS分布式存儲協(xié)議,將取代Http,取代集中式中央服務(wù)器存儲,會帶來全方位的改變。
分布式存儲往往采用分布式的系統(tǒng)結(jié)構(gòu),利用多臺存儲服務(wù)器分擔存儲負荷,利用位置服務(wù)器定位存儲信息。它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展,將通用硬件引入的不穩(wěn)定因素降到最低。優(yōu)點如下:
一.高性能
一個具有高性能的分布式存戶通常能夠高效地管理讀緩存和寫緩存,并且支持自動的分級存儲。分布式存儲通過將熱點區(qū)域內(nèi)數(shù)據(jù)映射到高速存儲中,來提高系統(tǒng)響應(yīng)速度;一旦這些區(qū)域不再是熱點,那么存儲系統(tǒng)會將它們移出高速存儲。而寫緩存技術(shù)則可使配合高速存儲來明顯改變整體存儲的性能,按照一定的策略,先將數(shù)據(jù)寫入高速存儲,再在適當?shù)臅r間進行同步落盤。
二.支持分級存儲
由于通過網(wǎng)絡(luò)進行松耦合鏈接,分布式存儲允許高速存儲和低速存儲分開部署,或者任意比例混布。在不可預測的業(yè)務(wù)環(huán)境或者敏捷應(yīng)用情況下,分層存儲的優(yōu)勢可以發(fā)揮到最佳。解決了目前緩存分層存儲最大的問題是當性能池讀不命中后,從冷池提取數(shù)據(jù)的粒度太大,導致延遲高,從而給造成整體的性能的抖動的問題。
三.一致性
與傳統(tǒng)的存儲架構(gòu)使用RAID模式來保證數(shù)據(jù)的可靠性不同,分布式存儲采用了多副本備份機制。在存儲數(shù)據(jù)之前,分布式存儲對數(shù)據(jù)進行了分片,分片后的數(shù)據(jù)按照一定的規(guī)則保存在集群節(jié)點上。為了保證多個數(shù)據(jù)副本之間的一致性,分布式存儲通常采用的是一個副本寫入,多個副本讀取的強一致性技術(shù),使用鏡像、條帶、分布式校驗等方式滿足租戶對于可靠性不同的需求。在讀取數(shù)據(jù)失敗的時候,系統(tǒng)可以通過從其他副本讀取數(shù)據(jù),重新寫入該副本進行恢復,從而保證副本的總數(shù)固定;當數(shù)據(jù)長時間處于不一致狀態(tài)時,系統(tǒng)會自動數(shù)據(jù)重建恢復,同時租戶可設(shè)定數(shù)據(jù)恢復的帶寬規(guī)則,最小化對業(yè)務(wù)的影響。
四.容災性
在分布式存儲的容災中,一個重要的手段就是多時間點快照技術(shù),使得用戶生產(chǎn)系統(tǒng)能夠?qū)崿F(xiàn)一定時間間隔下的各版本數(shù)據(jù)的保存。特別值得一提的是,多時間點快照技術(shù)支持同時提取多個時間點樣本同時恢復,這對于很多邏輯錯誤的災難定位十分有用,如果用戶有多臺服務(wù)器或虛擬機可以用作系統(tǒng)恢復,通過比照和分析,可以快速找到哪個時間點才是需要回復的時間點,降低了故障定位的難度,縮短了定位時間。這個功能還非常有利于進行故障重現(xiàn),從而進行分析和研究,避免災難在未來再次發(fā)生。多副本技術(shù),數(shù)據(jù)條帶化放置,多時間點快照和周期增量復制等技術(shù)為分布式存儲的高可靠性提供了保障。
五.擴展性
得益于合理的分布式架構(gòu),分布式存儲可預估并且彈性擴展計算、存儲容量和性能。分布式存儲的水平擴展有以下幾個特性:
1)節(jié)點擴展后,舊數(shù)據(jù)會自動遷移到新節(jié)點,實現(xiàn)負載均衡,避免單點過熱的情況出現(xiàn);
2)水平擴展只需要將新節(jié)點和原有集群連接到同一網(wǎng)絡(luò),整個過程不會對業(yè)務(wù)造成影響;
3)當節(jié)點被添加到集群,集群系統(tǒng)的整體容量和性能也隨之線性擴展,此后新節(jié)點的資源就會被管理平臺接管,被用于分配或者回收。
六.存儲系統(tǒng)標準化
隨著分布式存儲的發(fā)展,存儲行業(yè)的標準化進程也不斷推進,分布式存儲優(yōu)先采用行業(yè)標準接口(SMI-S或OpenStack Cinder)進行存儲接入。在平臺層面,通過將異構(gòu)存儲資源進行抽象化,將傳統(tǒng)的存儲設(shè)備級的操作封裝成面向存儲資源的操作,從而簡化異構(gòu)存儲基礎(chǔ)架構(gòu)的操作,以實現(xiàn)存儲資源的集中管理,并能夠自動執(zhí)行創(chuàng)建、變更、回收等整個存儲生命周期流程。基于異構(gòu)存儲整合的功能,用戶可以實現(xiàn)跨不同品牌、介質(zhì)地實現(xiàn)容災,如用中低端陣列為高端陣列容災,用不同磁盤陣列為閃存陣列容災等等,從側(cè)面降低了存儲采購和管理成本。
IPFS是踐行分布式存儲技術(shù)偉大的引領(lǐng)者,是一個具有區(qū)塊鏈技術(shù)特征的分布式數(shù)據(jù)系統(tǒng)。如果IPFS得以普及,節(jié)點數(shù)能夠達到一定規(guī)模,即使每個節(jié)點只存放一點點內(nèi)容,所累計的空間、帶寬和可靠性也遠超目前互聯(lián)網(wǎng)能提供的。而隨之而來的分布式Web將會變成地球上最快、最可靠、最大的數(shù)據(jù)倉庫。
而BMJ分布式存儲作為一家提供POST硬盤存儲挖礦服務(wù)商,敏銳把握時間發(fā)展趨勢,以“為存儲而來,為服務(wù)而生”作為企業(yè)的宗旨,在區(qū)塊鏈新一輪產(chǎn)業(yè)浪潮的巨變中順勢而起,以創(chuàng)新、敬業(yè)、責任、匠人精神,專注于分布式存儲技術(shù)的研發(fā)和落地應(yīng)用,在行業(yè)內(nèi)享有非常高的知名度。分布式儲存必將是大勢所趨,相信BMJ作為分布式存儲的領(lǐng)航者,也將成為主流,讓我們拭目以待。