本文來自微信公眾號(hào)“twt企業(yè)IT社區(qū)”。
信創(chuàng)云環(huán)境下,一般類應(yīng)用服務(wù)器的應(yīng)用場景就是絕大多數(shù)應(yīng)用的部署場景。信創(chuàng)云環(huán)境就是要整合對(duì)象存儲(chǔ)和NAS存儲(chǔ)的優(yōu)點(diǎn),實(shí)現(xiàn)更高效的數(shù)據(jù)存儲(chǔ)和管理。對(duì)象存儲(chǔ)在大規(guī)模數(shù)據(jù)存儲(chǔ)和備份方面具有優(yōu)勢,而NAS則更適合小規(guī)模數(shù)據(jù)的共享和訪問,因此可以根據(jù)實(shí)際需求進(jìn)行選擇和部署。
【欄目主編】張鵬某金融科技公司高級(jí)技術(shù)主管:本議題由招商證券平臺(tái)架構(gòu)師張錁斌、江蘇農(nóng)信存儲(chǔ)架構(gòu)師康建國發(fā)表針對(duì)議題下關(guān)鍵點(diǎn)的主張,幾位專家的主張?jiān)谀辰鹑谛袠I(yè)公司技術(shù)經(jīng)理陳橙、某金融公司架構(gòu)師劉艷春及我本人等多位專家的復(fù)議后,形成了一定的共識(shí),希望可以對(duì)同行有一定的參考。
張錁斌 招商證券平臺(tái)架構(gòu)師:
企業(yè)對(duì)數(shù)據(jù)中心的依賴度不斷提高,對(duì)數(shù)據(jù)可用性的需求也隨之增加。因此,在未來,NAS和對(duì)象存儲(chǔ)對(duì)于數(shù)據(jù)的高可用性和容錯(cuò)性將會(huì)越來越重要,可以提供高可用性的存儲(chǔ)服務(wù)。
隨著中國基礎(chǔ)設(shè)施能力的快速崛起,使用全信創(chuàng)的技術(shù)棧支持生產(chǎn)系統(tǒng)已經(jīng)從嘗試走向正式落地。在落地的過程中,存儲(chǔ)作為IT基礎(chǔ)設(shè)施的三大件(服務(wù)器/存儲(chǔ)/數(shù)據(jù)庫),是最重要也是技術(shù)最復(fù)雜的一個(gè)基礎(chǔ)能力,存儲(chǔ)的好壞,不僅影響系統(tǒng)的并發(fā)和性能,還極大地影響了系統(tǒng)的可用性和可靠性。
一、NAS和對(duì)象存儲(chǔ)技術(shù)對(duì)比
NAS和對(duì)象存儲(chǔ)雖然都是存儲(chǔ)分離方案,一般都是采用分布式架構(gòu),但是在功能和非功能上存在較大的差異。針對(duì)不同的應(yīng)用場景對(duì)比如表1:
表:NAS和對(duì)象存儲(chǔ)技術(shù)對(duì)比
可以看出NAS和對(duì)象存儲(chǔ)有著各自的側(cè)重,在實(shí)際應(yīng)用中,可以結(jié)合NAS和對(duì)象存儲(chǔ)能力,從具體的業(yè)務(wù)需求、數(shù)據(jù)訪問模式、數(shù)據(jù)容量和增長速率等多個(gè)因角度行評(píng)估,選擇合適的存儲(chǔ)方案。
NAS存儲(chǔ)文件級(jí)別的存儲(chǔ)和控制,可進(jìn)行多種協(xié)議訪問,通過操作系統(tǒng)層接入,對(duì)于應(yīng)用的侵入性低??梢酝ㄟ^操作系統(tǒng)自帶的工具(SMB等)進(jìn)行訪問,易于管理和維護(hù)。使用文件接口訪問方式,入門門檻低。適合用于應(yīng)用存儲(chǔ)需要隨機(jī)訪問的熱數(shù)據(jù),不建議用于存儲(chǔ)大規(guī)模的數(shù)據(jù)。
對(duì)象存儲(chǔ)采用一種無文件系統(tǒng)的存儲(chǔ)方式,可以避免傳統(tǒng)NAS存儲(chǔ)中出現(xiàn)的文件系統(tǒng)碎片等問題。同時(shí)通過數(shù)據(jù)拆分,提供更高的并發(fā)能力。對(duì)象存儲(chǔ)靈活性高,可輕松擴(kuò)展;能夠處理大規(guī)模數(shù)據(jù)存儲(chǔ),適用于需要高可靠性的應(yīng)用程序;提供數(shù)據(jù)備份和冗余;能夠在任何地方較快地存儲(chǔ)和檢索數(shù)據(jù)。對(duì)象存儲(chǔ)適合大規(guī)模、高可靠性的分布式數(shù)據(jù)存儲(chǔ)場景,如云存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)、長期存儲(chǔ)等。
二、部署方案
1.一體機(jī)方案
一體機(jī)方案采用專用的存儲(chǔ)硬件架構(gòu)設(shè)計(jì),提供開箱即用的部署便利。一體機(jī)的方式是傳統(tǒng)存儲(chǔ)設(shè)備的延伸,類似于傳統(tǒng)的集中式存儲(chǔ)部署方案。
適用場景:
-適用于數(shù)據(jù)規(guī)模不大,對(duì)響應(yīng)性能要求高,運(yùn)維能力受限的場景。比如中小企業(yè),大型企業(yè)分支機(jī)構(gòu),邊緣節(jié)點(diǎn)的存儲(chǔ)等場景。數(shù)據(jù)量不大、可靠性要求很高的核心交易系統(tǒng)存儲(chǔ)需求,也可以考慮一體機(jī)方案。
特點(diǎn):
-存儲(chǔ)設(shè)備單元化,易于管理和維護(hù)。
-部署相對(duì)簡單,不需要太多專業(yè)知識(shí)和技能。
優(yōu)點(diǎn):
-集成度高,構(gòu)造簡單,易于維護(hù)。
-設(shè)備型號(hào)標(biāo)準(zhǔn)化,采購方便,容易部署。
-專用存儲(chǔ)架構(gòu),存儲(chǔ)利用率更高
缺點(diǎn):
-存儲(chǔ)容量有限,難以擴(kuò)容,不適合大量數(shù)據(jù)應(yīng)用場景。
-存儲(chǔ)性能存在上限,難以滿足高并發(fā)業(yè)務(wù)需求。
-存儲(chǔ)單點(diǎn)故障風(fēng)險(xiǎn)高,對(duì)業(yè)務(wù)運(yùn)行的穩(wěn)定性有影響。
-專用設(shè)備,廠商鎖定。
2.分布式方案
分布式存儲(chǔ)是基于通用服務(wù)器的存儲(chǔ)方案,通過軟件能力實(shí)現(xiàn)高可用的存儲(chǔ)方案。分布式方案是和云計(jì)算緊密相關(guān)聯(lián)的。AWS的第一個(gè)云服務(wù)就是對(duì)象存儲(chǔ)S3服務(wù)。
適用場景:
-適用于大數(shù)據(jù)或高訪問量的應(yīng)用場景,比如中大型企業(yè)的云NAS和對(duì)象服務(wù),大數(shù)據(jù)和AI訓(xùn)練等場景。
特點(diǎn):
-分布式存儲(chǔ)系統(tǒng)可以無限水平擴(kuò)展,適合大數(shù)據(jù)或高訪問量的應(yīng)用場景。
-可以實(shí)現(xiàn)數(shù)據(jù)備份、容錯(cuò)、負(fù)載均衡等功能,提高系統(tǒng)的可用性和穩(wěn)定性。
-支持多種協(xié)議和接口,可以滿足不同類型的應(yīng)用需求。
優(yōu)點(diǎn):
-存儲(chǔ)容量、性能擴(kuò)展方便,靈活性高。
-分布式可靠性,可支持同城的數(shù)據(jù)多副本和容錯(cuò)。
-數(shù)據(jù)分散存儲(chǔ),不易發(fā)生單點(diǎn)故障。
缺點(diǎn):
-系統(tǒng)部署和維護(hù)需要較高的技能和經(jīng)驗(yàn)。
-系統(tǒng)復(fù)雜度較高,把握系統(tǒng)整體性能需要較多資源和精力。
-系統(tǒng)通信延遲存在,會(huì)對(duì)性能產(chǎn)生影響。
三、部署實(shí)踐
對(duì)象存儲(chǔ)作為歸檔存儲(chǔ)服務(wù),同時(shí)也作為鏡像倉庫,支持業(yè)務(wù)的異地部署和恢復(fù),承載了企業(yè)數(shù)據(jù)的最后一道防線的職責(zé)。對(duì)象存儲(chǔ)的高可用方案對(duì)于整個(gè)業(yè)務(wù)系統(tǒng)的可用性起到?jīng)Q定作用。對(duì)象存儲(chǔ)是云服務(wù)的一種,可以采用云服務(wù)的部署方式,將距離相近,而且具備一定隔離能力的機(jī)房作為獨(dú)立的可用區(qū)(Available Zone),將對(duì)象存儲(chǔ)集群的部署在不同的可用區(qū),確保在一個(gè)甚至是兩個(gè)獨(dú)立可用區(qū)出現(xiàn)問題時(shí),對(duì)象存儲(chǔ)可以對(duì)外提供服務(wù)。異地災(zāi)備采用異步復(fù)制的方式,根據(jù)RPO/RTO和帶寬能力,設(shè)置合適的同步策略。
分布式NAS可以參考對(duì)象存儲(chǔ)的部署方式。對(duì)于一體機(jī)的NAS可以選擇采用兩地三中心的高可用方案。本地進(jìn)行實(shí)時(shí)同步備份,異地采用異步備份。
對(duì)于比較成熟的應(yīng)用框架,可以考慮單中心部署,由應(yīng)用負(fù)責(zé)數(shù)據(jù)的同步復(fù)制,這個(gè)方案的好處是應(yīng)用可以只復(fù)制少量的重要數(shù)據(jù),大大降低了數(shù)據(jù)傳輸?shù)囊蟆?/p>
四、技術(shù)展望
近年來,云存儲(chǔ)一直在不斷發(fā)展,其中NAS和對(duì)象存儲(chǔ)也不例外。以下是它們的一些發(fā)展趨勢:
1.數(shù)據(jù)安全性:數(shù)據(jù)安全一直是云存儲(chǔ)的熱點(diǎn)話題,NAS和對(duì)象存儲(chǔ)也不例外。未來,資料的安全性將成為更加關(guān)注的焦點(diǎn),云存儲(chǔ)方案需要加強(qiáng)安全措施,保證資料的機(jī)密性和完整性。
2.高速度和低延遲:隨著云計(jì)算的不斷普及,越來越多的用戶希望能夠快速地存取、管理和分析存儲(chǔ)在云上的數(shù)據(jù)。因此,包括NAS和對(duì)象存儲(chǔ)在內(nèi)的云存儲(chǔ),都通過底層技術(shù)的革新,如存儲(chǔ)介質(zhì)的更新?lián)Q代,NOF(NVMeover Fabrc)等新的協(xié)議,提供高速度和低延遲的存儲(chǔ)服務(wù),以滿足用戶的需求。
3.高可用性:隨著企業(yè)對(duì)數(shù)據(jù)中心的依賴度不斷提高,對(duì)數(shù)據(jù)可用性的需求也隨之增加。因此,在未來,NAS和對(duì)象存儲(chǔ)對(duì)于數(shù)據(jù)的高可用性和容錯(cuò)性將會(huì)越來越重要,可以提供高可用性的存儲(chǔ)服務(wù)。
4.人工智能技術(shù):隨著人工智能技術(shù)的發(fā)展,NAS和對(duì)象存儲(chǔ)的應(yīng)用場景也在不斷擴(kuò)展。未來,云存儲(chǔ)提供商可以利用人工智能技術(shù),提供更加智能化的存儲(chǔ)服務(wù),包括數(shù)據(jù)分析、自動(dòng)化管理、數(shù)據(jù)分類和識(shí)別等功能。
5.大數(shù)據(jù)處理:隨著大數(shù)據(jù)時(shí)代的到來,處理海量數(shù)據(jù)的需求也在不斷增長。未來,NAS和對(duì)象存儲(chǔ)需要進(jìn)一步提高對(duì)海量數(shù)據(jù)的處理能力,提供更加高效的數(shù)據(jù)處理和管理服務(wù)。
康建國 江蘇農(nóng)信存儲(chǔ)架構(gòu)師:
對(duì)于云環(huán)境上需要文件共享服務(wù),同時(shí)有高并發(fā)低時(shí)延要求的應(yīng)用系統(tǒng),可以選擇從雙活NAS存儲(chǔ)上分配資源使用。當(dāng)然,由于集中式NAS資源和處理能力有限,需要對(duì)分配使用的應(yīng)用數(shù)量做一定控制。
近年來,隨著電子商務(wù)、云原生、微服務(wù)、分布式應(yīng)用、DevOps等現(xiàn)代應(yīng)用架構(gòu)的流行,用戶開始將越來越多的傳統(tǒng)應(yīng)用進(jìn)行改造和重構(gòu),遷移到云環(huán)境。同時(shí),當(dāng)下國產(chǎn)化進(jìn)程推進(jìn)迅速。在這樣的背景下,在云環(huán)境下針對(duì)非結(jié)構(gòu)化數(shù)據(jù)如何規(guī)劃和部署NAS和對(duì)象存儲(chǔ)值得仔細(xì)考量。
一、云環(huán)境下NAS和對(duì)象存儲(chǔ)的使用場景
1.NAS的使用場景
NAS存儲(chǔ)使用標(biāo)準(zhǔn)的文件系統(tǒng)和協(xié)議(如CIFS、NFS),主要操作對(duì)象是文件和文件夾,主機(jī)端通過文件夾路徑直接訪問存儲(chǔ)的文件,適用于小型和中型的文件應(yīng)用,例如普通的文檔、圖片、視頻等數(shù)據(jù)。NAS存儲(chǔ)適合用于多主機(jī)共享數(shù)據(jù),它提供了高效的文件訪問和管理,支持多用戶并發(fā)訪問。
相對(duì)于對(duì)象存儲(chǔ),NAS存儲(chǔ)在集成和應(yīng)用上更具備廣泛性和兼容性,應(yīng)用無需改造,開箱即用,適合小規(guī)模應(yīng)用集群快速部署。
集中式NAS和分布式NAS的使用場景有所不同,前者憑著自身的高性能優(yōu)點(diǎn)適用于高并發(fā)低時(shí)延的小文件應(yīng)用場景,后者適用大文件順序?qū)憟鼍?,比如票?jù)影像的備份歸檔等。
2.對(duì)象存儲(chǔ)的使用場景
對(duì)象存儲(chǔ)接近無限擴(kuò)展能力使其可以真正意義上實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的海量存儲(chǔ)。其扁平化的存入和讀取數(shù)據(jù)對(duì)象方式,使其使用方式簡單,應(yīng)用經(jīng)過標(biāo)準(zhǔn)API接口進(jìn)行調(diào)用,十分契合互聯(lián)網(wǎng)大數(shù)據(jù)的存儲(chǔ)。對(duì)象存儲(chǔ)適合存儲(chǔ)包括多媒體、音樂、圖片、視頻監(jiān)控文件、軟件、鏡像、掃描件等種類在內(nèi)的海量文件。
第一類場景是使用與應(yīng)用系統(tǒng)保存業(yè)務(wù)所需要存儲(chǔ)的各類文件、視頻、音頻、圖片等對(duì)象,比如金融行業(yè)的票據(jù)影像與雙錄等。第二類場景是可以作為云上數(shù)據(jù)的長期備份和歸檔使用。對(duì)于需要透明保存但很少被訪問的溫冷數(shù)據(jù),可以從在線高性能存儲(chǔ)遷移備份至對(duì)象存儲(chǔ)做長期保存,兼顧了成本效益與數(shù)據(jù)可用性。
圖1 NAS與對(duì)象存儲(chǔ)對(duì)比圖
二、云環(huán)境下的NAS和對(duì)象存儲(chǔ)的部署
在明確了NAS和對(duì)象存儲(chǔ)的各自特點(diǎn)和各自適用場景之后,我們可以考慮以下基礎(chǔ)設(shè)施如何部署了。當(dāng)然不管是NAS存儲(chǔ)還是對(duì)象存儲(chǔ),首先需要滿足信創(chuàng)基礎(chǔ)環(huán)境的兼容性要求,包括芯片、操作系統(tǒng)、網(wǎng)絡(luò)等等。
(1)集中式NAS
在云環(huán)境之外單獨(dú)部署一套雙活架構(gòu)的集中式NAS存儲(chǔ),配置閃存盤和足夠前端萬兆接口卡,連接兩臺(tái)萬兆交換機(jī),組建一套完整的高性能雙活NAS架構(gòu),為云上需要使用集中式NAS的應(yīng)用系統(tǒng)提供文件共享服務(wù)。
對(duì)于云環(huán)境上需要文件共享服務(wù),同時(shí)有高并發(fā)低時(shí)延要求的應(yīng)用系統(tǒng),可以選擇從雙活NAS存儲(chǔ)上分配資源使用。當(dāng)然,由于集中式NAS資源和處理能力有限,需要對(duì)分配使用的應(yīng)用數(shù)量做一定控制。
(2)分布式NAS
分布式NAS使用和對(duì)象存儲(chǔ)一套分布式存儲(chǔ)上提供的文件存儲(chǔ)服務(wù)??梢允褂脤?duì)象存儲(chǔ)的應(yīng)用一律使用對(duì)象存儲(chǔ),只有那些應(yīng)用程序無法改造適配對(duì)象存儲(chǔ),而對(duì)時(shí)延要求不高的應(yīng)用系統(tǒng),才推薦使用分布式NAS。
(3)對(duì)象存儲(chǔ)
對(duì)象存儲(chǔ)的部署一般有兩種方案,一個(gè)是軟硬一體的方案,即超大規(guī)模分布式存儲(chǔ)平臺(tái),另一個(gè)是軟硬分離,采用“軟件定義和通用服務(wù)器”。用戶可以根據(jù)自己的部署、運(yùn)維能力選擇采用。
另外,建議搭建對(duì)象存儲(chǔ)的跨站點(diǎn)高可用架構(gòu),采用跨站點(diǎn)多活或者遠(yuǎn)程復(fù)制技術(shù)實(shí)現(xiàn)容災(zāi),提升對(duì)象存儲(chǔ)的高可用能力。
三、NAS部署方案實(shí)踐
在信創(chuàng)云環(huán)境中確實(shí)需要使用集中式NAS的系統(tǒng),可以在云環(huán)境之外獨(dú)立部署集中式NAS,如今隨著業(yè)務(wù)連續(xù)性要求越來越高,行業(yè)已經(jīng)默認(rèn)采用雙活NAS架構(gòu)。典型的雙活集中式NAS物理部署結(jié)構(gòu)參考圖2、圖3。
圖2 NAS雙活物理架構(gòu)
圖3 NAS雙活容災(zāi)方案組網(wǎng)拓?fù)鋱D
結(jié)束語
信創(chuàng)云環(huán)境下,對(duì)象存儲(chǔ)和NAS存儲(chǔ)的部署需要考慮服務(wù)器的負(fù)載情況、網(wǎng)絡(luò)架構(gòu)、安全措施、資源利用率和性能優(yōu)化、高可用性、可擴(kuò)展性和靈活性。針對(duì)不同應(yīng)用場景選擇適合的存儲(chǔ)方式。如高負(fù)載應(yīng)用采用分布式存儲(chǔ)架構(gòu),頻繁讀寫采用NAS存儲(chǔ),大量存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)采用對(duì)象存儲(chǔ)。同時(shí)部署時(shí)需要選擇完善的高可用和災(zāi)備解決方案,并經(jīng)過測試和驗(yàn)證,確保存儲(chǔ)系統(tǒng)的穩(wěn)定性、可用性和數(shù)據(jù)安全性。