分布式存儲(chǔ)的雄心是讓數(shù)據(jù)可持續(xù)

鏈得得
探索實(shí)驗(yàn)室
隨著Web3.0時(shí)代的到來,5G、大數(shù)據(jù)、人工智能、工業(yè)互聯(lián)網(wǎng)等新興領(lǐng)域?qū)⒂瓉砀咚侔l(fā)展,帶動(dòng)全渠道數(shù)據(jù)實(shí)現(xiàn)爆發(fā)式增長(zhǎng)。

這是科幻電影中憾人的一幕:

2025年,某國(guó)的數(shù)據(jù)量達(dá)到了50zb。某市作為最主要的存儲(chǔ)陣地,承載著全國(guó)60%的存儲(chǔ)需求,某市的某機(jī)房?jī)?nèi),數(shù)萬(wàn)臺(tái)存儲(chǔ)服務(wù)器高速運(yùn)轉(zhuǎn)的同時(shí),響徹全市的地震避險(xiǎn)警報(bào)聲已然拉響!10,9,8……

地震整整持續(xù)了數(shù)分鐘,正在人們慶幸劫后余生的同時(shí),全國(guó)各地的無(wú)數(shù)網(wǎng)站因這場(chǎng)災(zāi)難徹底癱瘓、無(wú)數(shù)企業(yè)的寶貴數(shù)據(jù)毀于一旦、擁有專利的數(shù)據(jù)著作一夜傾覆、甚至關(guān)乎每個(gè)人的生活印記灰飛煙滅。無(wú)數(shù)人日日夜夜努力耕耘的成果沒了。

這場(chǎng)災(zāi)害帶給人們的不僅是生死存亡的悲痛,更是無(wú)數(shù)人努力過后無(wú)盡空洞的茫然……

藝術(shù)源于生活。

即使沒有發(fā)生自然災(zāi)害,我們身邊也不乏這樣的例子:騰訊云故障導(dǎo)致創(chuàng)業(yè)公司數(shù)據(jù)丟失;阿里云故障,多家APP網(wǎng)站癱瘓!

中心化存儲(chǔ)的風(fēng)險(xiǎn)是不可預(yù)估的,一旦發(fā)生就是無(wú)法挽回的巨大損失。尊重?cái)?shù)據(jù)的生命應(yīng)被等同于航空公司將飛行安全置于最高優(yōu)先級(jí)一樣!

有沒有一種存儲(chǔ)密度大且安全穩(wěn)定的數(shù)據(jù)存儲(chǔ)方式?先驅(qū)者們將目光投向了存儲(chǔ)的更多可能——分布式存儲(chǔ)。

時(shí)間回到2014年,由胡安發(fā)起的IPFS(星際文件系統(tǒng))橫空出世,3年后,IPFS已經(jīng)存儲(chǔ)了50億份文件,同年,團(tuán)隊(duì)正式立項(xiàng)了Filecoin分布式存儲(chǔ)系統(tǒng)項(xiàng)目。于此,IPFS才算走到了關(guān)鍵步驟,存儲(chǔ)架構(gòu)、本質(zhì)要素、形成邏輯已然就位,承載數(shù)據(jù)世界的底層基礎(chǔ)Filecoin的時(shí)代終于來臨。

Filecoin存儲(chǔ)架構(gòu):分布式存儲(chǔ)

分布式存儲(chǔ)就是將數(shù)據(jù)拆分成多份,分散存儲(chǔ)于多臺(tái)獨(dú)立設(shè)備。采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)載,利用位置服務(wù)器定位存儲(chǔ)信息。

舉個(gè)栗子簡(jiǎn)單說

我們現(xiàn)在要存儲(chǔ)一頭豬,豬頭、豬手、豬頸肉、豬背、豬肚和豬腿……我們把它們分別存儲(chǔ)在不同的設(shè)備(當(dāng)然IPFS的碎片應(yīng)該更“碎”)。

Filecoin的容錯(cuò)機(jī)制可以保證這些部位,被復(fù)制成足夠多的數(shù)量,即使某個(gè)豬頭的存儲(chǔ)節(jié)點(diǎn)失靈,也能很快從備份里完好地恢復(fù)豬頭,保證整只豬的完整性,從而實(shí)現(xiàn)的無(wú)間容錯(cuò)。這就是Filecoin的安全性能,采用最終一致性來確保數(shù)據(jù)的完整。

這里要提一提,數(shù)據(jù)的一致性包含以下幾種:

時(shí)間一致性

所有數(shù)據(jù)組件在任意時(shí)刻是完全一致的;

事務(wù)一致性

比如A轉(zhuǎn)賬100給B,A減去了100、B加上100;在事務(wù)完成前后,都能保證賬能對(duì)上,這就是事務(wù)一致性;但轉(zhuǎn)賬過程中有可能出現(xiàn)A減去了100,B沒有加上100的情況,這就是事務(wù)不一致;

所有事務(wù)一致性

一個(gè)應(yīng)用程序中涉及多個(gè)不同單機(jī)事務(wù),只有所有單機(jī)事務(wù)完成前后,數(shù)據(jù)是完全一致的。

本質(zhì)要素:

健全的共識(shí)體系和獨(dú)特的經(jīng)濟(jì)模型

創(chuàng)新的抵押機(jī)制

文件碎片來源于不同存儲(chǔ)節(jié)點(diǎn),這種多條鏈并行使得Filecoin存儲(chǔ)速度遠(yuǎn)遠(yuǎn)大于中心化存儲(chǔ),而其抵押機(jī)制則能很好保證存儲(chǔ)提供者持續(xù)提供存儲(chǔ)服務(wù),以及保證網(wǎng)絡(luò)的穩(wěn)定。

防止作弊機(jī)制

每位存儲(chǔ)提供者都需要采用被稱為“復(fù)制證明”“時(shí)空證明”的共識(shí)機(jī)制:通過反復(fù)廣播他們的設(shè)備正持續(xù)存儲(chǔ)訂單數(shù)據(jù)的證據(jù),以此行為防止作弊。

防止電力浪費(fèi)機(jī)制

Filecoin通過有效存儲(chǔ)定義節(jié)點(diǎn)的算力,有效存儲(chǔ)越大,獲得打包區(qū)塊的概率也越大。這種方式能支撐大規(guī)模的實(shí)時(shí)獎(jiǎng)勵(lì)結(jié)算和交易結(jié)算,比起基于哈希算法的PoW機(jī)制更節(jié)約高效,有效減少無(wú)效數(shù)據(jù)存儲(chǔ)及電力消耗。

高水平運(yùn)維團(tuán)隊(duì)集結(jié)

在Filecoin中,存儲(chǔ)就是算力,所有節(jié)點(diǎn)都需要配置高性能的計(jì)算集群和存儲(chǔ)集群,并且由于防作弊機(jī)制的存在,使得Filecoin對(duì)于運(yùn)維水平要求極高,這提高了存儲(chǔ)提供者前期投入的成本。而在這種門檻下,存儲(chǔ)提供者的能力水平也會(huì)遠(yuǎn)高于其他網(wǎng)絡(luò),為Filecoin長(zhǎng)期穩(wěn)定發(fā)展,聚集了一批高水平的團(tuán)隊(duì)。

形成邏輯:自由撮合

任何用戶都可基于其提供的存儲(chǔ)容量成為存儲(chǔ)提供者,并于此獲得市場(chǎng)訂單。根據(jù)Filecoin團(tuán)隊(duì)寫得市場(chǎng)價(jià)格,市場(chǎng)也會(huì)根據(jù)存儲(chǔ)空間、市場(chǎng)訂單情況來最終敲定價(jià)格。存儲(chǔ)需求采購(gòu)方通過交換機(jī)發(fā)出存儲(chǔ)訂單后,存儲(chǔ)主機(jī)會(huì)向采購(gòu)方報(bào)價(jià),存儲(chǔ)提供者競(jìng)價(jià)投標(biāo),并以最低價(jià)格撮合訂單。

這改變了中心化存儲(chǔ)服務(wù)的形式,讓有限制存儲(chǔ)空間的用戶也能為市場(chǎng)做存儲(chǔ)貢獻(xiàn),讓市場(chǎng)服務(wù)走向一個(gè)新的平衡,改變了存儲(chǔ)寡頭霸占市場(chǎng)份額的局面。

隨著Web3.0時(shí)代的到來,5G、大數(shù)據(jù)、人工智能、工業(yè)互聯(lián)網(wǎng)等新興領(lǐng)域?qū)⒂瓉砀咚侔l(fā)展,帶動(dòng)全渠道數(shù)據(jù)實(shí)現(xiàn)爆發(fā)式增長(zhǎng)。而作為新基建的Filecoin分布式存儲(chǔ)的優(yōu)勢(shì)也被不斷地重提,誠(chéng)然,按照IPFS團(tuán)隊(duì)穩(wěn)扎穩(wěn)打的態(tài)勢(shì),它想要實(shí)現(xiàn)真正落地還需要一段細(xì)水長(zhǎng)流的時(shí)間,但我們始終期待并敬畏它將帶來的全新互聯(lián)網(wǎng)生態(tài)——無(wú)論冷熱數(shù)據(jù)都能真正可持續(xù)。

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無(wú)評(píng)論