華泰證券是國內(nèi)頭部知名券商,鵬云網(wǎng)絡(luò)基于ZettaStor DBS,幫其構(gòu)建了一套“云原生分布式數(shù)據(jù)服務(wù)平臺”,并提供了一個統(tǒng)一的資源使用視圖,讓容器環(huán)境對存儲資源的使用情況一目了然,便于管理。該平臺解決方案主要幫助華泰證券帶來如下收益:
1、技術(shù)路線與云原生平臺相一致,滿足系統(tǒng)架構(gòu)先進(jìn)性及不斷演進(jìn)的要求;
2、高可用、高可靠,滿足金融行業(yè)嚴(yán)格要求,為云原生平臺承載關(guān)鍵業(yè)務(wù)鋪平道路;
3、跟隨容器生命周期的全自動存儲資源調(diào)配,快速敏捷,加速業(yè)務(wù)上線;
4、深度集成,提供容器環(huán)境對存儲資源利用的統(tǒng)一視圖,簡化管理。
一、行業(yè)背景
應(yīng)用系統(tǒng)的云原生化已經(jīng)成為主流趨勢,容器平臺在企業(yè)IT基礎(chǔ)架構(gòu)中的地位將越發(fā)重要,其所承載的有狀態(tài)應(yīng)用以及核心關(guān)鍵業(yè)務(wù)系統(tǒng)所占的比例也將不斷提升。因此,必須為容器平臺構(gòu)建高效、穩(wěn)定、敏捷的數(shù)據(jù)存儲系統(tǒng),來滿足日益增長的業(yè)務(wù)數(shù)據(jù)持久化存儲需求,為更多業(yè)務(wù)系統(tǒng)利用云原生架構(gòu)優(yōu)勢創(chuàng)造必要條件,從而推動業(yè)務(wù)增長與持續(xù)創(chuàng)新。
軟件定義架構(gòu)的分布式存儲是容器環(huán)境的理想選擇,相比基于控制器架構(gòu)的傳統(tǒng)存儲陣列,具有以下優(yōu)勢:
1.與云計算數(shù)據(jù)中心技術(shù)路線相一致的系統(tǒng)架構(gòu)。“標(biāo)準(zhǔn)化服務(wù)器+通用IP網(wǎng)絡(luò)+軟件定義”是云計算數(shù)據(jù)中心的主流建設(shè)模式,軟件定義存儲的架構(gòu)與之相匹配,使得數(shù)據(jù)中心能夠以統(tǒng)一技術(shù)路線進(jìn)行整體建設(shè)規(guī)劃以及運(yùn)維管理,并利于后續(xù)的技術(shù)升級換代。
2.靈活的橫向擴(kuò)展能力,敏捷的IT基礎(chǔ)架構(gòu)支撐能力。只需添加服務(wù)器節(jié)點即可按需擴(kuò)展,采用標(biāo)準(zhǔn)服務(wù)器設(shè)備,縮短采購和建設(shè)周期,使得系統(tǒng)規(guī)模能夠以最小成本和最快速度精準(zhǔn)建設(shè)與擴(kuò)容,敏捷應(yīng)對業(yè)務(wù)側(cè)對存儲資源的需求。
3.遠(yuǎn)超傳統(tǒng)存儲的數(shù)據(jù)存儲規(guī)模和IO性能。數(shù)據(jù)分布式存儲,數(shù)據(jù)訪問分布式處理,增加服務(wù)器節(jié)點即可實現(xiàn)容量和性能的同步增長。可支持超大集群規(guī)模,實現(xiàn)海量數(shù)據(jù)存儲規(guī)模和高并發(fā)IO性能,遠(yuǎn)超傳統(tǒng)存儲。
4.免遷移的系統(tǒng)設(shè)備升級換代。傳統(tǒng)存儲軟硬一體,設(shè)備的硬件更新需要進(jìn)行數(shù)據(jù)遷移,難度大、周期長、風(fēng)險高,影響生產(chǎn)。而分布式存儲則軟硬解耦,不需要遷移數(shù)據(jù),即可在線實現(xiàn)硬件更新或軟件升級,便捷、可靠、不影響生產(chǎn)。
二、方案架構(gòu)
本方案采用鵬云網(wǎng)絡(luò)完全自研ZettaStor DBS分布式存儲系統(tǒng),基于軟件定義技術(shù),利用標(biāo)準(zhǔn)經(jīng)濟(jì)型服務(wù)器和IP網(wǎng)絡(luò)來構(gòu)建統(tǒng)一的資源池,為容器環(huán)境提供存儲資源服務(wù)。
1.設(shè)備層。采用標(biāo)準(zhǔn)機(jī)架式服務(wù)器,均配置一定數(shù)量的本地硬盤,經(jīng)IP網(wǎng)絡(luò)進(jìn)行連接;
2.存儲層。在每臺服務(wù)器上部署ZettaStor DBS分布式存儲軟件,將這些服務(wù)器上的本地硬盤整合為一個虛擬化的存儲池,聚合容量與IO性能,提供高可用及高可靠能力以及各類企業(yè)級存儲功能;
3.接口層?;趇SCSI接口為服務(wù)器虛擬化或云計算環(huán)境提供存儲資源服務(wù);基于標(biāo)準(zhǔn)CSI接口與容器平臺對接,實現(xiàn)存儲資源的自動化調(diào)用;
4.應(yīng)用層。在容器平臺主機(jī)上部署ZettaStorDBS提供的CSI Plug-in,容器平臺通過該插件與ZettaStor DBS存儲系統(tǒng)進(jìn)行通信,并請求存儲資源。存儲系統(tǒng)根據(jù)請求創(chuàng)建Volume,并基于iSCSI標(biāo)準(zhǔn)接口分配到容器平臺主機(jī),由容器平臺統(tǒng)一提供給pod進(jìn)行讀寫訪問。
(解決方案架構(gòu)圖)
三、方案構(gòu)成:
1.存儲系統(tǒng):
本方案采用鵬云網(wǎng)絡(luò)完全自研的ZettaStor DBS分布式存儲軟件,以及標(biāo)準(zhǔn)化經(jīng)濟(jì)型服務(wù)器,為虛擬化及云計算環(huán)境構(gòu)建統(tǒng)一存儲平臺。同時,鵬云也提供預(yù)集成、開箱即用的ZBOX分布式存儲一體機(jī)產(chǎn)品,作為另一種可選的存儲系統(tǒng)構(gòu)建方案。
①ZettaStor DBS分布式存儲軟件。ZettaStor DBS以軟件定義和分布式技術(shù),把大量經(jīng)濟(jì)型標(biāo)準(zhǔn)服務(wù)器的內(nèi)置存儲整合成為一個大規(guī)橫、高彈性、高可用、高可靠的存儲資源池,具備豐富的企業(yè)級功能特性,滿足企業(yè)對各類數(shù)據(jù)存儲的需求。ZettaStor DBS為數(shù)據(jù)中心提供統(tǒng)一存儲解決方案,幫助數(shù)據(jù)中心基礎(chǔ)構(gòu)架向“云”轉(zhuǎn)型。
ZettaStor DBS提供一系列智能化手段抑制普通服務(wù)器硬件的相對不可靠,諸如智能故障處理機(jī)制、故障恢復(fù)過程無需人工干預(yù),故障恢復(fù)時間<1S,故障處理過程業(yè)務(wù)無感知。還提供慢盤檢測、慢節(jié)點檢測、網(wǎng)絡(luò)亞健康檢測等自動化手段,更為精細(xì)化地主動偵測和排除部件對業(yè)務(wù)健康影響,使大規(guī)模分布式存儲系統(tǒng)的高可用性得到充分保障。
②存儲節(jié)點服務(wù)器。支持標(biāo)準(zhǔn)x86架構(gòu)的服務(wù)器平臺;支持基于飛騰、鯤鵬、龍芯、海光、兆芯、申威等處理器的國產(chǎn)化整機(jī)平臺;對于廠商、品牌、型號等沒有限制。
③ZBOX分布式存儲一體機(jī)。ZBOX是一款以ZettaStor DBS軟件為核心、與經(jīng)過優(yōu)化的標(biāo)準(zhǔn)服務(wù)器設(shè)備緊密集成,專為企業(yè)用戶快速部署存儲構(gòu)架而設(shè)計的一體機(jī)設(shè)備。3臺服務(wù)器起步,模塊化設(shè)計、開箱即用,可快速構(gòu)建企業(yè)所需的存儲系統(tǒng)。
2.存儲網(wǎng)絡(luò):
分布式存儲系統(tǒng)的運(yùn)行需要網(wǎng)絡(luò)環(huán)境支持,通常由用戶方提供。建議提供萬兆網(wǎng)絡(luò)環(huán)境,供客戶端進(jìn)行數(shù)據(jù)訪問以及存儲系統(tǒng)內(nèi)部數(shù)據(jù)交互;同時需要提供千兆網(wǎng)絡(luò)環(huán)境,承載存儲系統(tǒng)內(nèi)部的管理控制信息傳輸;為保障業(yè)務(wù)系統(tǒng)可用性,網(wǎng)絡(luò)環(huán)境應(yīng)采用全冗余架構(gòu)進(jìn)行設(shè)計。
四、典型應(yīng)用場景
1.相對輕量型的、周邊業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫例如單機(jī)Oracle、MySQL,Postgres,MangoDB等,以及其他對于IO性能有一定要求的業(yè)務(wù)系統(tǒng)。此類應(yīng)用一般要求存儲系統(tǒng)能夠提供5ms以內(nèi)的IO延遲。“個體規(guī)模小、業(yè)務(wù)負(fù)載輕、總體數(shù)量多、位置分布散”是此類系統(tǒng)的特點,
采用分布式塊存儲的價值在于:
①使用集中存儲或光纖存儲的話,方案比較重,投入比較高,維護(hù)也復(fù)雜。采用分布式塊存儲能夠有效規(guī)避以上不足。
②能夠聚合大量硬盤及服務(wù)器的處理能力,實現(xiàn)較高的總體IOPS,應(yīng)對高并發(fā)、分布式的IO訪問。
③同時也具備高可用、高可靠能力,保障業(yè)務(wù)系統(tǒng)的穩(wěn)定可靠運(yùn)行。
2.中間件平臺,例如kafka、redis、mango等,以及應(yīng)用服務(wù)器、web服務(wù)器,或其他一般業(yè)務(wù)系統(tǒng)。此類應(yīng)用一般要求存儲系統(tǒng)能夠提供10ms以內(nèi)的IO延遲。塊存儲是應(yīng)對此類場景的主流解決方案,相比文件存儲有以下優(yōu)勢:
①對小IO的支持更好,而中間件主要是小IO;
②隔離性和QoS保障更好,這樣對于中間件之間的相互影響可以更低;
③基于LUN的備份恢復(fù)粒度可以和容器的volume一一對應(yīng),管理粒度更精細(xì)化,有助于中間件的分級和精細(xì)化運(yùn)維管理;
④相比較通用的NAS CSI,可基于定制CSI提供更強(qiáng)的可控性,可擴(kuò)展支持更多高級存儲能力,以適配未來更復(fù)雜的PaaS數(shù)據(jù)需求。
五、項目案例:華泰證券云原生分布式數(shù)據(jù)服務(wù)平臺
1.項目背景。①華泰證券需要利用容器及云原生技術(shù)構(gòu)建行業(yè)領(lǐng)先的金融科技平臺;②需要為容器平臺構(gòu)建高效、穩(wěn)定、敏捷的數(shù)據(jù)存儲系統(tǒng),滿足有狀態(tài)應(yīng)用及關(guān)鍵業(yè)務(wù)系統(tǒng)承載需求;③本地硬盤、傳統(tǒng)的SAN存儲陣列或NAS等存在諸多不足,不適應(yīng)云原生平臺需求。
2.鵬云網(wǎng)絡(luò)解決方案。①基于鵬云網(wǎng)絡(luò)自主研發(fā)的ZettaStor DBS分布式塊存儲系統(tǒng)構(gòu)建云原生數(shù)據(jù)存儲服務(wù)平臺;②通過標(biāo)準(zhǔn)CSI接口與Kubernetes平臺進(jìn)行無縫對接;③采用全閃存配置,為MySQL等數(shù)據(jù)庫、Kafka等中間件平臺提供高并發(fā)低延時的數(shù)據(jù)訪問性能。
3.項目實施效果。①技術(shù)路線與云原生平臺相一致,滿足系統(tǒng)架構(gòu)先進(jìn)性及不斷演進(jìn)的要求;②高可用、高可靠,滿足金融行業(yè)嚴(yán)格要求,為云原生平臺承載關(guān)鍵業(yè)務(wù)鋪平道路;③跟隨容器生命周期的全自動存儲資源調(diào)配,快速敏捷,加速業(yè)務(wù)上線;④深度集成,提供容器環(huán)境對存儲資源利用的統(tǒng)一視圖,簡化管理。