國家大力支持5G、人工智能、區(qū)塊鏈、云計(jì)算、和大數(shù)據(jù)等前沿科技的發(fā)展。而隨著存儲數(shù)據(jù)的增加,存儲服務(wù)器也越來越多,同時存儲壓力也不斷的上升,不僅增加了存儲的高成本,同時這種傳統(tǒng)的存儲方式也在數(shù)據(jù)存儲的安全性和可靠性方面存在很大的風(fēng)險(xiǎn),一旦一臺大型機(jī)器出現(xiàn)故障,那么整個系統(tǒng)將可能處于不可用的狀態(tài),后果非常的嚴(yán)重。相比傳統(tǒng)的集中式存儲存在數(shù)據(jù)安全性和可靠性的問題,分布式存儲就可以很好地解決這一痛點(diǎn)。
而在信息爆炸的時代,人們可以獲取的數(shù)據(jù)呈指數(shù)倍的增長,單純在固定某個地點(diǎn)進(jìn)行硬盤的擴(kuò)充在容量大小、擴(kuò)充速度、讀寫速度和數(shù)據(jù)備份等方面上的表現(xiàn)都無法達(dá)到要求;而且大數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)多是來自于客戶,數(shù)據(jù)的種類多,存儲系統(tǒng)需要存儲各種半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù),如文檔、圖片、視頻等,因此大數(shù)據(jù)的存儲宜使用分布式文件系統(tǒng)來管理這些非結(jié)構(gòu)化數(shù)據(jù)。
分布式存儲是將數(shù)據(jù)分散存儲在多臺獨(dú)立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù),存儲服務(wù)器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點(diǎn),不能滿足大規(guī)模存儲應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷,利用位置服務(wù)器定位存儲信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。
分布式存儲通過非標(biāo)準(zhǔn)協(xié)議實(shí)現(xiàn)服務(wù)器上存儲資源的整個,并進(jìn)行存儲資源池化和虛擬化處理,最后呈現(xiàn)給用戶某種形式(塊存儲或者文件存儲)的存儲空間。分布式存儲有其特異性,其使用的并非標(biāo)準(zhǔn)協(xié)議,因此通常需要在應(yīng)用服務(wù)器安裝其客戶端軟件實(shí)現(xiàn)存儲空間的虛擬呈現(xiàn),以及請求的處理。
由于分布式存儲拓?fù)浣Y(jié)構(gòu)的復(fù)雜性,其出現(xiàn)故障的概率也大大增加了。因此,對于分布式存儲需要實(shí)現(xiàn)基于網(wǎng)絡(luò)的數(shù)據(jù)冗余、數(shù)據(jù)保護(hù)和數(shù)據(jù)容錯等功能,確保在出現(xiàn)任何異常情況,如磁盤、網(wǎng)卡、交換機(jī)和服務(wù)器等故障,下存儲系統(tǒng)的可用性和可靠性。
傳統(tǒng)的分布式計(jì)算系統(tǒng)中通常計(jì)算節(jié)點(diǎn)與存儲節(jié)點(diǎn)是分開的。當(dāng)執(zhí)行計(jì)算任務(wù)時,首先要把數(shù)據(jù)從數(shù)據(jù)節(jié)點(diǎn)傳輸至計(jì)算節(jié)點(diǎn)(數(shù)據(jù)向計(jì)算遷移),這種處理方式會使外存文件數(shù)據(jù)I/O訪問成為一個制約系統(tǒng)性能的瓶頸。為了減少大數(shù)據(jù)并行計(jì)算系統(tǒng)中的數(shù)據(jù)通信開銷,應(yīng)當(dāng)考慮將計(jì)算向數(shù)據(jù)靠攏和遷移。
從各廠商的解決方案來看,面對目前互聯(lián)網(wǎng)應(yīng)用PB級的海量存儲的存儲需求,頻繁的數(shù)據(jù)傳輸,都是通過應(yīng)用分布式存儲系統(tǒng),實(shí)現(xiàn)在普通PC機(jī)上部署節(jié)點(diǎn),通過系統(tǒng)架構(gòu)設(shè)計(jì)提供強(qiáng)大的容錯能力,針對大型的、分布式的、大量數(shù)據(jù)訪問的應(yīng)用給用戶提供總體性能最高的服務(wù)。