眾所周知,基于區(qū)塊鏈的分布式云存儲具有較高的安全性、且成本十分低,因此備受企業(yè)歡迎。然而,千好萬好,只有落地才是最重要。那么,分布式云存儲究竟怎樣才能脫離那些不切實際的“一夜暴富”幻想實現(xiàn)場景的落地呢?
“區(qū)塊鏈”這個詞并不新鮮,但是很多提到它的時候第一反應是“炒幣”。為什么會形成這種偏見?歸根結底還是區(qū)塊鏈的基礎設施不行。就說說大家還比較了解的以太貓和Fomo3D吧。用戶群體其實并不龐大,可體驗依舊不好?;蛘哒f,用戶稍微多一點,操作系統(tǒng)就承載不了了。分布式系統(tǒng)本來是個好東西,但是對于用戶來說,交易速度慢、門檻又高,對于開發(fā)者來說基礎設施建設差、開發(fā)環(huán)境不友好,也是挺讓人頭疼的一件事。大家都在提DApp,可是DApp到底有沒有真正開花結果?到底能夠有什么樣的影響力?也是很多人在思考的一個問題。
互聯(lián)網(wǎng)行業(yè)經歷了幾十年的發(fā)展,早已有很多應用落地生根,枝葉繁茂。相比之下,區(qū)塊鏈就更需要好好打下根基。
說到底,分布式儲存到底是什么?
分布式存儲系統(tǒng),是將數(shù)據(jù)分散存儲在多臺獨立的設備上。傳統(tǒng)的網(wǎng)絡存儲系統(tǒng)采用集中的存儲服務器存放所有數(shù)據(jù),存儲服務器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規(guī)模存儲應用的需要。分布式網(wǎng)絡存儲系統(tǒng)采用可擴展的系統(tǒng)結構,利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展。
元數(shù)據(jù)管理的奧義
其中最重要的技術,便是元數(shù)據(jù)管理、系統(tǒng)彈性擴展技術、存儲層級內的優(yōu)化技術、針對應用和負載的存儲優(yōu)化技術,這幾個也決定了一個分布式儲存是否成功,能否運行的關鍵。
畢竟在大數(shù)據(jù)環(huán)境下,元數(shù)據(jù)的體量也非常大,元數(shù)據(jù)的存取性能是整個分布式文件系統(tǒng)性能的關鍵。常見的元數(shù)據(jù)管理可以分為集中式和分布式元數(shù)據(jù)管理架構。集中式元數(shù)據(jù)管理架構采用單一的元數(shù)據(jù)服務器,實現(xiàn)簡單.但是存在單點故障等問題。分布式元數(shù)據(jù)管理架構則將元數(shù)據(jù)分散在多個結點上.進而解決了元數(shù)據(jù)服務器的性能瓶頸等問題.并提高了元數(shù)據(jù)管理架構的可擴展性,但實現(xiàn)較為復雜,并引入了元數(shù)據(jù)一致性的問題。另外,還有一種無元數(shù)據(jù)服務器的分布式架構,通過在線算法組織數(shù)據(jù),不需要專用的元數(shù)據(jù)服務器。但是該架構對數(shù)據(jù)一致性的保障很困難.實現(xiàn)較為復雜。文件目錄遍歷操作效率低下,并且缺乏文件系統(tǒng)全局監(jiān)控管理功能。
而數(shù)據(jù)規(guī)模和復雜度的增加往往非常迅速,對系統(tǒng)的擴展性能要求較高。實現(xiàn)存儲系統(tǒng)的高可擴展性首先要解決兩個方面的重要問題,包含元數(shù)據(jù)的分配和數(shù)據(jù)的透明遷移。元數(shù)據(jù)的分配主要通過靜態(tài)子樹劃分技術實現(xiàn),后者則側重數(shù)據(jù)遷移算法的優(yōu)化。此外,大數(shù)據(jù)存儲體系規(guī)模龐大.結點失效率高,因此還需要完成一定的自適應管理功能。系統(tǒng)必須能夠根據(jù)數(shù)據(jù)量和計算的工作量估算所需要的結點個數(shù),并動態(tài)地將數(shù)據(jù)在結點間遷移。以實現(xiàn)負載均衡;同時.結點失效時,數(shù)據(jù)必須可以通過副本等機制進行恢復,不能對上層應用產生影響。
構建存儲系統(tǒng)時.需要基于成本和性能來考慮,因此存儲系統(tǒng)通常采用多層不同性價比的存儲器件組成存儲層次結構。大數(shù)據(jù)的規(guī)模大,因此構建高效合理的存儲層次結構,可以在保證系統(tǒng)性能的前提下,降低系統(tǒng)能耗和構建成本,利用數(shù)據(jù)訪問局部性原理.可以從兩個方面對存儲層次結構進行優(yōu)化。從提高性能的角度,可以通過分析應用特征,識別熱點數(shù)據(jù)并對其進行緩存或預取,通過高效的緩存預取算法和合理的緩存容量配比,以提高訪問性能。從降低成本的角度,采用信息生命周期管理方法,將訪問頻率低的冷數(shù)據(jù)遷移到低速廉價存儲設備上,可以在小幅犧牲系統(tǒng)整體性能的基礎上,大幅降低系統(tǒng)的構建成本和能耗。
傳統(tǒng)數(shù)據(jù)存儲模型需要支持盡可能多的應用,因此需要具備較好的通用性。大數(shù)據(jù)具有大規(guī)模、高動態(tài)及快速處理等特性,通用的數(shù)據(jù)存儲模型通常并不是最能提高應用性能的模型.而大數(shù)據(jù)存儲系統(tǒng)對上層應用性能的關注遠遠超過對通用性的追求。針對應用和負載來優(yōu)化存儲,就是將數(shù)據(jù)存儲與應用耦合。簡化或擴展分布式文件系統(tǒng)的功能,根據(jù)特定應用、特定負載、特定的計算模型對文件系統(tǒng)進行定制和深度優(yōu)化,使應用達到最佳性能。這類優(yōu)化技術在谷歌、Facebook等互聯(lián)網(wǎng)公司的內部存儲系統(tǒng)上,管理超過千萬億字節(jié)級別的大數(shù)據(jù),能夠達到非常高的性能。
而IPFS最為分布式儲存中的翹楚,可以從本質上改變網(wǎng)絡數(shù)據(jù)的分發(fā)機制。
IPFS每個文件及其中的所有塊都被賦予一個稱為加密散列的唯一指紋。
通過網(wǎng)絡刪除重復具有相同哈希值的文件,通過計算是可以判斷哪些文件是冗余重復的。并跟蹤每個文件的版本歷史記錄。
每個網(wǎng)絡節(jié)點只存儲它感興趣的內容,以及一些索引信息,有助于弄清楚誰在存儲什么。
查找文件時,你通過文件的哈希值就可以在網(wǎng)絡查找到儲存改文件的節(jié)點,找到想要的文件。
使用稱為IPNS(去中心化命名系統(tǒng)),每個文件都可以被協(xié)作命名為易讀的名字。通過搜索,就能很容易地找到想要查看的文件。
IPFS設想的是讓所有的網(wǎng)絡終端節(jié)點不僅僅只充當Browser或Client的角色,其實人人都可以作為這個網(wǎng)絡的運營者,人人都可以是服務器。
落地場景應用情況
而我們都知道,千好萬好,只有落地才是最重要,那么如今真能利用IPFS落地的分布式儲存dapp應用場景又有哪些?
其實,分布式儲存可結合的場景一直十分多元,電商、互聯(lián)網(wǎng)金融、在線教育等行業(yè)的Web和移動應用等等,例如阿里的螞蟻金服。螞蟻區(qū)塊鏈想要構建一個全球最強壯的工業(yè)級的全球會員系統(tǒng),支撐業(yè)務發(fā)展,實現(xiàn)全球的互聯(lián)。已在探索中的有醫(yī)院和保險公司的業(yè)務,包括養(yǎng)老保險,信托、基金、銀行等
更例如京東,直接將區(qū)塊鏈的分布式儲存技術應用至物流追溯,使商家與品牌商、供應商、消費者、流通渠道等供應鏈上的各方以低成本迅速建立互信關系。讓商品可溯源,消費者完全放心。
更加直接的落地場景還有云盤,分布式云盤概念炒作很多,但是國內多是在白皮書階段,基本上都是資本為了炒幣描述的概念化項目,目前真正落地,實現(xiàn)公測體驗的,就是前不久上架應用寶的《無極云》。
無極云由深網(wǎng)科技推出,是基于IPFS分布式存儲技術而升級的云儲存APP,使用P2P傳輸協(xié)議,用戶幾乎再不會遇到404,502等尷尬情況。同時用戶存儲在網(wǎng)絡上的文件將被永遠的儲存,無法抹去(除非刻意刪除);并且ipfs可以幫助用戶節(jié)約大量的帶寬和存儲等,不再需要浪費大量的設備來進行維護。以及將極大的降低數(shù)據(jù)傳輸?shù)某杀?,同時數(shù)據(jù)可以更加安全便捷的進行傳輸。而根據(jù)目前所得知的規(guī)劃,顯然《無極云》也將苗頭對向了企業(yè)云儲存這一塊,未來似乎將已幫助企業(yè)改革的方式融入,但劇情情況尚不清楚。
所以,就此我們也能看出,分布式存儲系統(tǒng)的誕生,與傳統(tǒng)存儲的最終目的都是一樣的,就是如何有效的利用好存儲,并降低維護成本。分布式存儲系統(tǒng)的產生也是對于傳統(tǒng)存儲系統(tǒng)缺點的補充,是在傳統(tǒng)存儲系統(tǒng)的基礎上的改進,我們也期待分布式存儲系統(tǒng)的發(fā)展,能夠更好的降低維護的人力物資成本,實現(xiàn)存儲資源的有效利用,實現(xiàn)數(shù)據(jù)的有效保護,而要走向落地的道路,還依舊很長,最重要的便是脫離那些不切實際的“一夜暴富”幻想。
(原標題:分布式云存儲到底是什么?又究竟如何讓場景落地?)