目前我們正處于一個(gè)新的時(shí)代,這個(gè)時(shí)代被賦予了許多標(biāo)簽:互聯(lián)網(wǎng)+時(shí)代、云計(jì)算時(shí)代、大數(shù)據(jù)時(shí)代、人工智能時(shí)代。
當(dāng)前時(shí)代的IT系統(tǒng)架構(gòu)伴隨著軟件定義的發(fā)展,正發(fā)生著巨大的變化,作為IT架構(gòu)核心數(shù)據(jù)保險(xiǎn)箱的存儲(chǔ)單元正在面臨著前所未有的挑戰(zhàn)。前端業(yè)務(wù)應(yīng)用規(guī)模從數(shù)據(jù)量、性能、安全性以及應(yīng)用類(lèi)型上都有了成倍的增長(zhǎng),傳統(tǒng)的存儲(chǔ)設(shè)備和解決方案很難滿(mǎn)足這種大規(guī)模應(yīng)用場(chǎng)景的需求。不同的應(yīng)用場(chǎng)景產(chǎn)生的數(shù)據(jù)類(lèi)型及訪(fǎng)問(wèn)數(shù)據(jù)的IO模型各不相同,采用軟件定義的分布式存儲(chǔ)解決方案可以更好的應(yīng)對(duì)目前的挑戰(zhàn)。
首先,我們需要知道什么是分布式存儲(chǔ)?
分布式存儲(chǔ)
分布式存儲(chǔ)是軟件定義存儲(chǔ)解決方案的實(shí)現(xiàn),它是通過(guò)軟件將硬件進(jìn)行抽象化管理,將集群全部的CPU資源、內(nèi)存資源、硬盤(pán)資源、網(wǎng)絡(luò)資源等進(jìn)行池化,組合成統(tǒng)一資源池,然后通過(guò)簡(jiǎn)單友好的管理界面或API提供給用戶(hù)個(gè)性化的存儲(chǔ)解決方案。
軟件定義存儲(chǔ)解決方案可以使生產(chǎn)系統(tǒng)在線(xiàn)運(yùn)行的情況下進(jìn)行縱向擴(kuò)展(Scale-Up)或橫向擴(kuò)展(Scale-Out),且存儲(chǔ)系統(tǒng)在擴(kuò)展后可以達(dá)到容量與性能均線(xiàn)性擴(kuò)展的效果。其具有以下特性:
高性能
分布式存儲(chǔ)系統(tǒng)能夠?qū)⑺写鎯?chǔ)節(jié)點(diǎn)的處理器資源、硬盤(pán)資源、網(wǎng)絡(luò)資源進(jìn)行整合,將任務(wù)切分給多臺(tái)存儲(chǔ)節(jié)點(diǎn),進(jìn)行并發(fā)數(shù)據(jù)處理,避免了單個(gè)硬盤(pán)或設(shè)備造成的瓶頸,提升整個(gè)集群的處理能力。分布式存儲(chǔ)系統(tǒng)具有良好的性能擴(kuò)展能力,可以滿(mǎn)足應(yīng)用程序?qū)Υ鎯?chǔ)性能不斷增長(zhǎng)的要求。
高擴(kuò)展性
分布式存儲(chǔ)系統(tǒng)通過(guò)擴(kuò)展集群存儲(chǔ)節(jié)點(diǎn)規(guī)模從而提高系統(tǒng)存儲(chǔ)容量、計(jì)算和性能的能力,通過(guò)增加和升級(jí)服務(wù)器硬件,或者指通過(guò)增加存儲(chǔ)節(jié)點(diǎn)數(shù)量來(lái)提升服務(wù)能力。分布式存儲(chǔ)系統(tǒng)支持在線(xiàn)增加存儲(chǔ)節(jié)點(diǎn),對(duì)前端業(yè)務(wù)透明,系統(tǒng)整體性能與存儲(chǔ)節(jié)點(diǎn)數(shù)量呈線(xiàn)性關(guān)系。
高可用性
分布式存儲(chǔ)系統(tǒng)同時(shí)基于硬件及軟件設(shè)計(jì)了高可用機(jī)制,在面對(duì)多種異常時(shí)(如存儲(chǔ)節(jié)點(diǎn)宕機(jī)、網(wǎng)絡(luò)中斷、硬盤(pán)故障、數(shù)據(jù)損壞等)仍可提供正常服務(wù),提高分布式存儲(chǔ)系統(tǒng)硬件的可用性可以通過(guò)增加存儲(chǔ)節(jié)點(diǎn)數(shù)量或者采用多種硬件冗余機(jī)制保證。分布式存儲(chǔ)系統(tǒng)多采用副本機(jī)制或糾刪碼機(jī)制保證數(shù)據(jù)的高可用性,副本機(jī)制可以提供較高的數(shù)據(jù)冗余度,但會(huì)降低存儲(chǔ)系統(tǒng)有效空間的利用率,糾刪碼機(jī)制可以在保證一定數(shù)據(jù)冗余度的情況下,大幅提高存儲(chǔ)系統(tǒng)的有效空間利用率。
高安全性
分布式存儲(chǔ)系統(tǒng)支持可靠的權(quán)限控制及互信確認(rèn)機(jī)制,同時(shí)采用私有的數(shù)據(jù)切片及數(shù)據(jù)編碼機(jī)制,可以從多重角度保證集群系統(tǒng)不受惡意訪(fǎng)問(wèn)和攻擊,保護(hù)存儲(chǔ)數(shù)據(jù)不被竊取。
分布式的“四高”特性,使得其在高性能計(jì)算、大數(shù)據(jù)視頻云及大數(shù)據(jù)分析等應(yīng)用場(chǎng)景中有著廣泛的應(yīng)用。
高性能計(jì)算場(chǎng)景
在如氣象氣候、地質(zhì)勘探、航空航天、工程計(jì)算、材料工程等領(lǐng)域,基于集群的高性能計(jì)算,已成為必需的輔助工具。集群系統(tǒng)有極強(qiáng)的伸縮性,可通過(guò)在集群中增加或刪減節(jié)點(diǎn)的方式,在不影響原有應(yīng)用與計(jì)算任務(wù)的情況下,隨時(shí)增加和降低系統(tǒng)的處理能力。根據(jù)不同的計(jì)算模式與規(guī)模,構(gòu)成集群系統(tǒng)的節(jié)點(diǎn)數(shù)可以從幾個(gè)到成千上萬(wàn)個(gè)。這些業(yè)務(wù)對(duì)后端的存儲(chǔ)系統(tǒng)提出了新的需求,包括統(tǒng)一的存儲(chǔ)空間、高效率的文件檢索、高帶寬的吞吐性能,高可靠的數(shù)據(jù)安全保障等。
大數(shù)據(jù)視頻云應(yīng)用場(chǎng)景
隨著視頻高清技術(shù)及超高清技術(shù)的普及,視頻大數(shù)據(jù)應(yīng)用場(chǎng)景,如雪亮工程、平安城市、廣電媒資、影視制作、視頻網(wǎng)站等領(lǐng)域,對(duì)存儲(chǔ)設(shè)備提出了大容量、高讀寫(xiě)性能、高可靠性、低延時(shí)及可擴(kuò)展性等需求。針對(duì)這樣大規(guī)模視頻數(shù)據(jù)應(yīng)用場(chǎng)景,就需要一個(gè)技術(shù)先進(jìn)、性能優(yōu)越的存儲(chǔ)系統(tǒng)作為后端數(shù)據(jù)存儲(chǔ)的支撐者。
大數(shù)據(jù)分析應(yīng)用場(chǎng)景
伴隨著互聯(lián)網(wǎng)技術(shù)及人工智能的發(fā)展,各種基于海量用戶(hù)/數(shù)據(jù)/終端的大數(shù)據(jù)分析及人工智能業(yè)務(wù)模式不斷涌現(xiàn),同樣需要充分考慮存儲(chǔ)功能集成度、數(shù)據(jù)安全性、數(shù)據(jù)穩(wěn)定性,系統(tǒng)可擴(kuò)展性、性能及成本各方面因素。
在數(shù)據(jù)爆發(fā)增長(zhǎng)的“數(shù)字時(shí)代”,軟件定義的分布式存儲(chǔ)是存儲(chǔ)技術(shù)高速發(fā)展的結(jié)晶,并具有著很大的成長(zhǎng)空間,必將應(yīng)用于更廣泛的大數(shù)據(jù)業(yè)務(wù)場(chǎng)景。