隨著互聯(lián)網(wǎng)業(yè)務(wù)迅猛的發(fā)展，企業(yè)的數(shù)據(jù)規(guī)模呈指數(shù)級上升，在現(xiàn)在的云計(jì)算時(shí)代，海量數(shù)據(jù)使存儲的性價(jià)比有所降低。人工智能、大數(shù)據(jù)、云計(jì)算等新興技術(shù)奠定了大規(guī)模分布式存儲的應(yīng)用前提。和傳統(tǒng)存儲相比，分布式存儲更可靠，能夠統(tǒng)一管理，具有可擴(kuò)展性，系統(tǒng)容量大，可以通過橫向的擴(kuò)展去提升其單機(jī)性能。
分布式存儲是將數(shù)據(jù)分散存儲于網(wǎng)絡(luò)中的多個(gè)數(shù)據(jù)節(jié)點(diǎn)上，其元數(shù)據(jù)庫中的元數(shù)據(jù)實(shí)時(shí)更新，并存放于所有參與記錄的區(qū)塊鏈網(wǎng)絡(luò)節(jié)點(diǎn)中，形成一個(gè)大規(guī)模的存儲資源池。在分布式存儲方式下，可實(shí)現(xiàn)超大集群規(guī)模的部署。每一個(gè)存儲節(jié)點(diǎn)都可以提供獨(dú)立的性能支撐，在高并發(fā)的數(shù)據(jù)處理中，可以實(shí)現(xiàn)更高的存儲性能，有效解決海量數(shù)據(jù)高擴(kuò)展和高性能的存儲需求。分布式存儲通過將數(shù)據(jù)統(tǒng)一存放在云存儲資源池中，利用存儲管理系統(tǒng)，可根據(jù)用戶指令實(shí)現(xiàn)數(shù)據(jù)的調(diào)動與共享。另一方面，存儲系統(tǒng)內(nèi)置數(shù)據(jù)治理，數(shù)據(jù)分析等與數(shù)據(jù)強(qiáng)相關(guān)的數(shù)據(jù)應(yīng)用系統(tǒng)，可實(shí)現(xiàn)便捷的數(shù)據(jù)處理，并將處理好的完整數(shù)據(jù)對接到大數(shù)據(jù)平臺實(shí)現(xiàn)大數(shù)據(jù)的分析與應(yīng)用，實(shí)現(xiàn)數(shù)據(jù)價(jià)值的挖掘。由于分布式存儲采用了去中心化設(shè)計(jì)，所有存儲節(jié)點(diǎn)都可以承載業(yè)務(wù)系統(tǒng)，在遭遇故障時(shí)，系統(tǒng)多節(jié)點(diǎn)并發(fā)恢復(fù)，可以大幅縮短故障窗口，這些基礎(chǔ)特性都進(jìn)一步提升了系統(tǒng)的可靠性。
鑒于分布式存儲具備的以上優(yōu)勢，企業(yè)向分布式存儲架構(gòu)轉(zhuǎn)型，建設(shè)分布式存儲資源池已經(jīng)成為趨勢，而如何建設(shè)分布式存儲資源池則需要企業(yè)實(shí)際需求進(jìn)行綜合考慮。為了能更好的幫助架構(gòu)師、運(yùn)維工程師們解決這方面的困難，社區(qū)特別邀請了江西農(nóng)信、前海財(cái)險(xiǎn)架構(gòu)師、北京現(xiàn)代、晉城商行、江西裕民銀行、江蘇金農(nóng)、本鋼礦業(yè)、中國民生銀行信用卡中心、中國銀行等企業(yè)的同行，同時(shí)也特別邀請了SmartX和XSKY的專家們一同參與交流分享。大家的交流重點(diǎn)圍繞：分布式存儲的應(yīng)用趨勢及必要性、分布式存儲資源池硬件架構(gòu)規(guī)劃、分布式存儲資源池網(wǎng)絡(luò)架構(gòu)規(guī)劃、分布式存儲資源池容災(zāi)規(guī)劃。
以下是活動探討內(nèi)容的整理總結(jié)，希望給同行們在分布式存儲資源池項(xiàng)目建設(shè)規(guī)劃上提供一定的參考和幫助。更多交流內(nèi)容可以點(diǎn)擊文末閱讀原文查看。
1、目前分布式存儲是否適用大多數(shù)行業(yè)和應(yīng)用？
【問題描述】隨著X86性能的提升和萬兆10萬兆網(wǎng)絡(luò)的發(fā)展，分布式存儲的瓶頸似乎也越來越少，除了特殊行業(yè)如金融等對IO有特殊要求的行業(yè)。分布式存儲是否適用在大多數(shù)行業(yè)和應(yīng)用中呢？以我目前接觸過兩個(gè)例子來說。一個(gè)用的超融合運(yùn)行大數(shù)據(jù)分析業(yè)務(wù)，另一個(gè)用的Vsan運(yùn)行虛擬化，上面分布數(shù)據(jù)庫，中間件等，由于業(yè)務(wù)沒有那么大的壓力。所以目前看分布式存儲是可以勝任這樣的環(huán)境的。在實(shí)際更多的行業(yè)中，還有哪些除了對IO有很高要求的行業(yè)以外，不適用分布式存儲的應(yīng)用呢？
劉東東軟集團(tuán)IT技術(shù)咨詢顧問：
首先，隨著X86服務(wù)器性能的提高，10GE/100GE網(wǎng)絡(luò)的性能提升、固態(tài)硬盤的普及和大容量硬盤的出現(xiàn)，分布式存儲確實(shí)越來越突顯出其優(yōu)勢，性價(jià)比高，規(guī)?；渴鸪杀镜?，性能線性增長，這些特性讓越來越多的行業(yè)正在將業(yè)務(wù)更多的部署在分布式存儲上。從前幾年的試探性部署，到現(xiàn)在的規(guī)?；渴?，分布式存儲的市場增長率，在大容量存儲市場，已經(jīng)顯著的超過了傳統(tǒng)架構(gòu)的集中式存儲。
其次，我們需要看到，各個(gè)行業(yè)雖然都在大規(guī)模的部署分布式存儲，但是傳統(tǒng)的集中架構(gòu)式存儲仍有市場空間，目前據(jù)我了解，還沒有任何一個(gè)行業(yè)的存儲市場完全被分布式存儲替代，仍然是混合架構(gòu)，而非專有架構(gòu)。
最后，我們從兩個(gè)不同的行業(yè)進(jìn)行分析，看一下具體的應(yīng)用場景。
1、醫(yī)療行業(yè)，最適合分布式存儲部署的場景就是PACS文件系統(tǒng)，這類系統(tǒng)的應(yīng)用特點(diǎn)是對文件存儲有大容量的存儲需求，同時(shí)又要求高性能。平均每個(gè)大型醫(yī)院每年的數(shù)據(jù)增長量有幾十TB，所以傳統(tǒng)集中存儲架構(gòu)已經(jīng)不適合這種大規(guī)模的數(shù)據(jù)量增長需求。最不適合分布式存儲部署的是核心HIS系統(tǒng)，這類系統(tǒng)數(shù)據(jù)量不大，通常只有最多只有幾個(gè)TB，每年數(shù)據(jù)增長幾十GB，但是對I/O非常敏感，而且涉及到財(cái)務(wù)，對數(shù)據(jù)一致性要求也比較高，不太適用分布式存儲。
2、政府行業(yè)，最適合分布式存儲部署的場景是大數(shù)據(jù)平臺、電子公文系統(tǒng)等，類似公文這類系統(tǒng)通常需要存儲大量的郵件附件等文件，對數(shù)據(jù)量要求比較高，但是性能要求一般，使用大容量低成本硬盤組件分布式存儲是非常合適的，不但可以降低政府部門投資，靈活的擴(kuò)展能力也可以將系統(tǒng)投資按年進(jìn)行擴(kuò)容，合理分配預(yù)算。最不適合的是電子政務(wù)的數(shù)據(jù)庫系統(tǒng)，通常這類系統(tǒng)存儲民生等關(guān)鍵業(yè)務(wù)數(shù)據(jù)，特別是在做全國數(shù)據(jù)集中核算過程中，對I/O和數(shù)據(jù)一致性要求都比較高，不太適用分布式存儲架構(gòu)。
趙海技術(shù)經(jīng)理：
首先，分布式存儲這個(gè)概念不是一個(gè)唯一的產(chǎn)品，很多產(chǎn)品都可以歸為分布式存儲的范疇。例如有分布式對象存儲，分布式文件系統(tǒng)存儲。不同的產(chǎn)品由于其數(shù)據(jù)存取及組織方式的差異，必然有自己最適合和擅長的場景，當(dāng)然也會存在自己的短板。
所以，分析分布式存儲適合什么樣的行業(yè)和應(yīng)用，如能聚焦到某一類產(chǎn)品上來，會更有針對性。再有我們分析這個(gè)產(chǎn)品適不適合這個(gè)行業(yè)和應(yīng)用，需要從應(yīng)用所處的場景特點(diǎn)來分析。
就通用分析而言，無論是分布式對象還是分布式文件系統(tǒng)類的產(chǎn)品，目前應(yīng)用的大多數(shù)場景還是企業(yè)的一些非結(jié)構(gòu)化及半結(jié)構(gòu)化的數(shù)據(jù)存儲及分析場景。一方面是數(shù)據(jù)量級的問題，另外一方面是數(shù)據(jù)本身的結(jié)構(gòu)特點(diǎn)，再有一個(gè)就是擴(kuò)展性的問題。但是對于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫類的應(yīng)用，由于其數(shù)據(jù)量級、數(shù)據(jù)并發(fā)控制的嚴(yán)格性以及穩(wěn)定性等方面要求，大多數(shù)還是在傳統(tǒng)集中式存儲上。對于一些分析類的應(yīng)用，由于互聯(lián)網(wǎng)的融入，數(shù)據(jù)特點(diǎn)及量級方面都有了質(zhì)的變化，因此大家都是根據(jù)具體應(yīng)用特點(diǎn)采用NOSQL+分布式存儲+定向開發(fā)等形成一套具有自己獨(dú)特應(yīng)用特點(diǎn)的數(shù)據(jù)中后臺。
潘延晟系統(tǒng)工程師：
目前看這兩種架構(gòu)的應(yīng)用的確是具有一定的特征性。分布式存儲傾向于非結(jié)構(gòu)化數(shù)據(jù)，海量數(shù)據(jù)，可擴(kuò)展。而傳統(tǒng)的san存儲更加傾向應(yīng)用在數(shù)據(jù)庫等核心結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)中，高IOPS，穩(wěn)定。
好像很多行業(yè)信息化發(fā)展到一定規(guī)模時(shí)也都可以清晰的劃分出這兩種類型的數(shù)據(jù)來對應(yīng)相應(yīng)的存儲方式。不過對于一些中小企業(yè)，我覺得有些尷尬，對于這樣的企業(yè)來說。結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)都有。但又都沒有達(dá)到一定體量，從技術(shù)也好，資金投入也好，可能都沒辦法選擇兩套存儲架構(gòu)。最后只能不得不糾結(jié)的選擇一套架構(gòu)。以我目前接觸的一個(gè)例子來說，最后選擇了超融合，相比傳統(tǒng)的san架構(gòu)可能在使用上更簡便一些。不過下面一位大神的回復(fù)也的確讓我深有體會。
1.“軟件定義的分布式存儲”在可用容量單價(jià)方面相比傳統(tǒng)存儲貴太多了：看著三副本選項(xiàng)后容量的縮減，簡直是在割肉一樣，即便是糾刪碼，這種容量的損耗還是比raid5+熱備要高。
2.“軟件定義的分布式存儲”在可用容量單價(jià)方面相比傳統(tǒng)存儲貴太多了：傳統(tǒng)的san存儲和x86的架構(gòu)相互都是獨(dú)立的。雖然連接維護(hù)要復(fù)雜有些，但好在結(jié)構(gòu)清晰，只要對整體架構(gòu)了解了。線路標(biāo)識清晰，就好維護(hù)，但超融合和分布式存儲這玩意高度整合，用起來是很方便，但一旦出問題的時(shí)候也的確難找到頭緒，真是輕易不出問題。一出問題就找不到問題。
在我的實(shí)際使用感受中上述兩點(diǎn)算是分布式存儲讓我覺得硬傷的地方，其他在應(yīng)用方面，因?yàn)闃I(yè)務(wù)體量沒有那么大，處理的數(shù)據(jù)也沒有那么多。另外業(yè)務(wù)在應(yīng)用上的效率也并不完全靠硬件拉起來的，好的程序和數(shù)據(jù)庫優(yōu)化也可以彌補(bǔ)一部分硬件的不足。所以還很難對比出傳統(tǒng)san存儲和分布式存儲性能上的差異。
penguinhe成方金融信息技術(shù)服務(wù)有限公司項(xiàng)目經(jīng)理：
分布式存儲應(yīng)用在應(yīng)用服務(wù)器、中間件服務(wù)器等對IO沒有極致要求和高可用方面有較高要求的分區(qū)上，結(jié)合應(yīng)用、中間件和系統(tǒng)層面自身的雙活及高可用設(shè)計(jì)，基本可以滿足需求。
whistwu SmartX解決方案經(jīng)理：
我的答案是肯定的，分布式存儲將適用大多數(shù)行業(yè)和應(yīng)用。在此之前，我們來了解大多數(shù)行業(yè)和應(yīng)用對存儲的訴求是什么？
剛開始的時(shí)候，我們只需要一個(gè)能存儲數(shù)據(jù)文件的設(shè)備，隨著數(shù)據(jù)量越來越多，應(yīng)用越來越多，我們需要更大空間的存儲，而且大家能共享使用，不會造成資源浪費(fèi)，這時(shí)通過光纖網(wǎng)絡(luò)共享的SAN存儲滿足了需求；同時(shí)，SAN存儲的快速發(fā)展還受益于IOE的架構(gòu)體系，這中間的“O”就是數(shù)據(jù)庫體系，因?yàn)閿?shù)據(jù)庫對IO性能的要求苛刻，SAN存儲的IO性能和響應(yīng)時(shí)間能夠滿足要求。
因此“高性能”是大多數(shù)行業(yè)對存儲的訴求之一，同時(shí)也是對分布式存儲的訴求。
剛開始的時(shí)候，因?yàn)榉植际郊軜?gòu)和產(chǎn)品成熟的因素，性能確實(shí)是考驗(yàn)分布式存儲的一個(gè)難關(guān)，記得2017年中國移動組織了第一次分布式存儲集采，結(jié)果包括華為在內(nèi)的17家送測廠商無一例外失敗了，其中最主要的原因就是性能不達(dá)標(biāo)。
行業(yè)里第一個(gè)想到的辦法是超融合，計(jì)算虛擬化+分布式存儲融合在一起，將數(shù)據(jù)更加靠近計(jì)算，沒有存儲網(wǎng)絡(luò)的延遲影響，能發(fā)揮設(shè)備的極致性能。有意思的是IDC報(bào)告里把HCI超融合和分布式塊存儲的市場放在一起來統(tǒng)計(jì)，是有一些道理的，因?yàn)槌诤现饕鎸Φ氖巧a(chǎn)核心系統(tǒng)的領(lǐng)域，而這正好也是分布式塊存儲的目標(biāo)市場之一。但是企業(yè)里還是有很多應(yīng)用沒有用虛擬機(jī)的，這部分怎么辦呢，所以存算分離的場景是分布式存儲重點(diǎn)的方向之一。
影響分布式存儲性能有很多方面，最重要的主要是兩點(diǎn)，介質(zhì)和傳輸網(wǎng)絡(luò)，對于分布式存儲系統(tǒng)來說，介質(zhì)可以選擇高性能的全閃磁盤，甚至全NVMe的SSD磁盤，能達(dá)到較高的IO性能，對于網(wǎng)絡(luò)來說，分布式存儲選用iSCSI連接方式比較多，但我們知道，iSCSI作為存儲接口使用走的是TCP/IP網(wǎng)絡(luò)，TCP/IP網(wǎng)絡(luò)為非無損網(wǎng)絡(luò)，意味著一旦有丟包，存儲性能會下降非?？?，最新的方式是采用NVMe-oF作為傳輸協(xié)議，通過NVMe over Fabric實(shí)現(xiàn)NVMe標(biāo)準(zhǔn)在PCIe總線上的擴(kuò)展，以此來挑戰(zhàn)SCSI在SAN中的統(tǒng)治地位，同時(shí)這也非常適合分布式存儲架構(gòu)，NVMe-oF配合RoCE v2，能夠使得分布式存儲的響應(yīng)時(shí)間達(dá)到了微秒級別。
其次，需要企業(yè)對存儲的另一訴求是“可靠性”。
傳統(tǒng)的SAN存儲可靠性主要是采用了部件冗余和RAID技術(shù)，因?yàn)橄到y(tǒng)的工業(yè)化集成程度高，耦合性好，所以故障報(bào)修的問題少，而現(xiàn)在的分布式存儲中，更多的考慮是通用型號的X86服務(wù)器設(shè)備作為平臺，適用性較好，通過糾刪碼和副本技術(shù)來保護(hù)數(shù)據(jù)不會因?yàn)橛布收隙鴣G失，同時(shí)，考慮冗余的角度變成了防止硬盤故障、節(jié)點(diǎn)故障、網(wǎng)絡(luò)故障和集群故障等，用通俗的話來說，一個(gè)是按法拉利F1方程式來設(shè)計(jì)的，一個(gè)是按方便實(shí)用特斯拉電動車型設(shè)計(jì)的，當(dāng)然這里說的是高端的磁盤陣列，普通的雙控傳統(tǒng)存儲可能還遠(yuǎn)遠(yuǎn)達(dá)不到F1方程式級別。從企業(yè)應(yīng)用角度還要考察的第三項(xiàng)是“穩(wěn)定性”。
正常情況下，分布式存儲平穩(wěn)運(yùn)行是基礎(chǔ)，需要考慮的系統(tǒng)是出現(xiàn)問題的時(shí)候，處在非健康狀態(tài)下是否也能平穩(wěn)運(yùn)行，比如磁盤故障恢復(fù)時(shí)、部分節(jié)點(diǎn)故障后、網(wǎng)絡(luò)亞健康時(shí)、存儲容量達(dá)到80%的時(shí)候，這都是考驗(yàn)各分布式廠商技術(shù)功底，特別是在數(shù)據(jù)庫環(huán)境下，更考驗(yàn)分布式存儲廠商是否有長時(shí)間的技術(shù)積累，相信隨著技術(shù)發(fā)展和分布式存儲軟件的迭代，分布式存儲的穩(wěn)定性會更好。
如果閱讀中國IDC2021年上半年的報(bào)告，你會發(fā)現(xiàn)分布式存儲和超融合已經(jīng)不聲不響的占了快一半的市場份額，比去年同期還高了5.8%，從市場表現(xiàn)上來看未來的分布式存儲毫無疑問是適用大多數(shù)行業(yè)和應(yīng)用的。
榮重實(shí)XSKY技術(shù)總監(jiān)：
依照IDC的中國市場分析，分布式存儲在國內(nèi)占比已經(jīng)超過40%，可以說是普適了大量的行業(yè)和場景；
從場景看：
1、私有云和混合云，本身就是分布式存儲的主戰(zhàn)場，在各個(gè)行業(yè)內(nèi)廣泛采用，其中政府、互聯(lián)網(wǎng)、金融、運(yùn)營商、教育、醫(yī)療等等行業(yè)已經(jīng)穩(wěn)定運(yùn)行多年。
2、各種類型影像系統(tǒng)，比如金融的ECM和雙錄，醫(yī)療的PACS和病理分析，高科的基因和電鏡及AI，制造業(yè)的封測和MES，教育的精品課錄播，自動駕駛的大量分析類數(shù)據(jù)，交通的卡口、ETC信息
3、大規(guī)模監(jiān)控云，如政府和運(yùn)營商的各類視頻收集平臺
4、海量的備份歸檔數(shù)據(jù)
5、兩地三中心容災(zāi)
分布式比較難適配的場景，除了對IO延遲及其敏感的場景，其他場景幾乎都涉及了分布式存儲，近期很多金融機(jī)構(gòu)已經(jīng)開始嘗試?yán)脟a(chǎn)化硬件配合全閃介質(zhì)進(jìn)行跑批測試，簡單的說就是客戶對于雙模架構(gòu)的理解已經(jīng)非常深刻，不會盲目的進(jìn)行站隊(duì)，而是在充分理解自己應(yīng)用和IO模型的情況下，選擇最適合自己的數(shù)據(jù)存放方法；
隨著SSD和網(wǎng)絡(luò)技術(shù)的繼續(xù)發(fā)展，我們有理由推斷，分布式存儲在市場中占有的場景和行業(yè)會繼續(xù)增加，慢慢成為主流的數(shù)據(jù)存放方式，結(jié)合數(shù)據(jù)湖以及數(shù)據(jù)流動的概念，更快更穩(wěn)定更長久的保存數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)本身的價(jià)值。
2、分布式存儲替換傳統(tǒng)存儲的驅(qū)動動力是什么？
【問題描述】對于傳統(tǒng)行業(yè)或者數(shù)據(jù)規(guī)模不是很大的環(huán)境，是否有將存儲架構(gòu)變更為分布式的必要？對于系統(tǒng)穩(wěn)定性、可靠性、擴(kuò)展性及經(jīng)濟(jì)效益有改善或者提升。
笑笑財(cái)險(xiǎn)系統(tǒng)工程師：
如果是傳統(tǒng)行業(yè)或者數(shù)據(jù)量不大，其實(shí)真沒必要換。一來穩(wěn)定性你需要去驗(yàn)證，那是生產(chǎn)環(huán)境，如果出現(xiàn)了問題，這個(gè)責(zé)任誰承擔(dān)。二來新的技術(shù)棧你是愿意花時(shí)間去學(xué)習(xí)和鉆研。如果這兩者你覺得都沒問題，再加上公司有這方面的預(yù)算，大可以上上分布式，試試看。先從測試環(huán)境開始。
whistwu SmartX解決方案經(jīng)理：
從IDC2021年1H的報(bào)告里可以顯示出，SDS正逐步替代傳統(tǒng)的存儲，傳統(tǒng)存儲只占了50%左右，另外很大一部分是被HCI超融合和SDS分布式吃掉了，這也是符合行業(yè)發(fā)展的趨勢，簡單方便，易維護(hù)，更智能。
原來傳統(tǒng)存儲面臨著專業(yè)控制器、縱向擴(kuò)展、產(chǎn)品更新慢、維護(hù)復(fù)雜和成本高的問題，這都是客戶選擇SDS存儲替換傳統(tǒng)存儲的動力。隨著SSD，RDMA，NVMe等等硬件技術(shù)棧的發(fā)展，SDS存儲已經(jīng)不僅是可有可無的產(chǎn)品了，而是真正意義上的替換老舊的傳統(tǒng)存儲，可以從幾個(gè)方面上來看：
1.存儲介質(zhì)上采用全閃SSD和全閃NVMe磁盤，在網(wǎng)絡(luò)傳輸上采用NVMeoF，單臺服務(wù)器的IO處理性能已經(jīng)遠(yuǎn)高于原來的傳統(tǒng)存儲，部分廠商配置了全閃的3節(jié)點(diǎn)的集群IOPS的性能甚至超過了20萬。
2.系統(tǒng)可靠性上采用多副本和容災(zāi)等技術(shù)，保證了數(shù)據(jù)安全性和預(yù)防災(zāi)難發(fā)生。
3.擴(kuò)展性是SDS存儲的強(qiáng)項(xiàng)，因?yàn)镾DS主打就是橫向擴(kuò)展的能力，多節(jié)點(diǎn)集群橫向擴(kuò)展能力遠(yuǎn)高于傳統(tǒng)存儲。
4.系統(tǒng)穩(wěn)定性是要考慮分布式的環(huán)境下各種故障出現(xiàn)的可能，比如磁盤故障，節(jié)點(diǎn)故障，網(wǎng)絡(luò)故障，集群故障等，從各方面各個(gè)維度去考慮系統(tǒng)的可靠性，SDS存儲都會考慮這些問題，但能達(dá)到更高的處理效率是各家SDS廠商的技術(shù)差異了。
總之，SDS替代一部分傳統(tǒng)存儲是一個(gè)趨勢，隨著技術(shù)上的發(fā)展會發(fā)現(xiàn)越來越明顯。
3、分布式存儲的日常維護(hù)要注意哪些，如開關(guān)機(jī)，更換節(jié)點(diǎn)等操作時(shí)有哪些明確的禁忌操作呢？
榮重實(shí)XSKY技術(shù)總監(jiān)：
分布式存儲，如果產(chǎn)品化做的還好，那么在日常使用上，與傳統(tǒng)存儲差異不大，但是重點(diǎn)需要關(guān)注網(wǎng)絡(luò)的穩(wěn)定性，分布式架構(gòu)中，節(jié)點(diǎn)之間的通訊尤為重要；但是開源的和產(chǎn)品化不夠好的產(chǎn)品，在運(yùn)維需要投入較大的力量，一方面是圖形化UI不夠完善，大量配置管理工作需要在CLI命令行執(zhí)行，另一方面是功能不夠完善，達(dá)不到傳統(tǒng)存儲的使用效果；綜合看一款合格的產(chǎn)品是不會增加運(yùn)維成本的，在某些方面還能減輕工作量。
4、分布式存儲在實(shí)際生產(chǎn)中，需在哪些方面增加監(jiān)控？
目前分布式存儲的界面告警還無法像傳統(tǒng)san存儲那樣將各個(gè)硬件告警推送出來，服務(wù)器的管理口硬件容錯(cuò)較高，很多情況服務(wù)器管理口并未告警，但上層分布式存儲軟件已經(jīng)感知異常。在實(shí)際生產(chǎn)中應(yīng)還需在哪些方面增加監(jiān)控？
榮重實(shí)XSKY技術(shù)總監(jiān)：
產(chǎn)品級別的分布式存儲，對于基礎(chǔ)硬件層面告警已經(jīng)沒什么問題了，如果說這方面監(jiān)控不到位，只能說產(chǎn)品化能力不好；個(gè)人覺得最難監(jiān)控的部分其實(shí)不是硬件本身，而是網(wǎng)絡(luò)層面，因?yàn)榉植际郊軜?gòu)對于網(wǎng)絡(luò)的要求非常高，所以初期分布式存儲多是建議專有的集群內(nèi)部網(wǎng)絡(luò)，一方面是避免流量干擾，另一方面是便于故障排查，近幾年隨著以太網(wǎng)絡(luò)技術(shù)的更新迭代，更多的分布式存儲采用混合組網(wǎng)的使用多平面的方式在構(gòu)建，這樣優(yōu)化帶寬，整合資源，但是對于故障判斷增加了很多不確定性，所以如果有自動網(wǎng)絡(luò)情況判斷機(jī)制，對于分布式存儲的運(yùn)維是非常有幫助的；另外一個(gè)是隨著磁盤容量的增大，一次磁盤損壞恢復(fù)的時(shí)間越來越長，是否能夠通過AI技術(shù)對磁盤故障類型進(jìn)行學(xué)習(xí)，提前發(fā)現(xiàn)可能出現(xiàn)的磁盤問題；再有就是磁盤靜默錯(cuò)誤的修復(fù)能力，避免導(dǎo)致數(shù)據(jù)丟失。
5、分布式存儲的容錯(cuò)機(jī)制是怎么樣的？容量如何計(jì)算？
榮重實(shí)XSKY技術(shù)總監(jiān)：
副本n：可用容量=裸容量*1/n，可以任意損壞n塊磁盤或n個(gè)節(jié)點(diǎn)數(shù)據(jù)不丟失
EC糾刪碼n+m：可用容量=裸容量*n/(n+m)，可以任意損壞m塊磁盤或m個(gè)節(jié)點(diǎn)數(shù)據(jù)不丟失
EC糾刪碼n+m:k：可用容量=裸容量*n/(n+m)，可以任意損壞m塊磁盤或K個(gè)節(jié)點(diǎn)數(shù)據(jù)不丟失
whistwu SmartX解決方案經(jīng)理：
磁盤級的容錯(cuò)機(jī)制主要是兩類，一是糾刪碼N+M，一是多副本技術(shù)；
從空間利用率上來說，糾刪碼的空間利用率高，容量換算一般是：裸容量N/(N+M)，多副本容量換算是：裸容量/副本數(shù)量；
從恢復(fù)的效率上來說，一定是多副本恢復(fù)的最快，對業(yè)務(wù)的影響最小，但是有效容量少；
從安全性的角度來說，副本安全性好。
6、異步傳輸如何保證數(shù)據(jù)一致性和完整性？
【問題描述】在存儲方面，數(shù)據(jù)實(shí)時(shí)同步，實(shí)現(xiàn)統(tǒng)一的存儲資源共享并建立高可靠性的數(shù)據(jù)保護(hù)機(jī)制，是一個(gè)比較嚴(yán)峻的挑戰(zhàn)。多個(gè)數(shù)據(jù)中心可能分散在不同地域，各個(gè)數(shù)據(jù)中心之間的網(wǎng)絡(luò)帶寬有限，可能無法做到數(shù)據(jù)實(shí)時(shí)同步，只能采用異步傳輸。那么數(shù)據(jù)一致性和完整性可能就等不到保證。如何在數(shù)據(jù)一致性和可用性上可能需要一些取舍。
whistwu SmartX解決方案經(jīng)理：
異步復(fù)制一般采用以下幾種方式保證數(shù)據(jù)一致性和完整性：
1.采用增量快照方式，容災(zāi)端在同步增量數(shù)據(jù)前先做個(gè)快照，一旦發(fā)現(xiàn)增量數(shù)據(jù)傳輸失敗，就立刻恢復(fù)之前的快照，這種方式有一定的缺陷，有可能造成數(shù)據(jù)的不一致；
2.采用快照一致性組，采用一致性組來保證各個(gè)volume卷的是數(shù)據(jù)一致性；
3.采用日志卷的方式，本地的存儲記錄增量IO到一個(gè)日志Volume上，傳輸這個(gè)日志卷到異地災(zāi)備中心存儲上，災(zāi)備存儲按日志卷的IO有序恢復(fù)IO操作，因?yàn)槿罩揪砩嫌袝r(shí)間戳，所以IO是有序的。
7、分布式存儲是否有easytier這樣的功能？可以實(shí)現(xiàn)熱數(shù)據(jù)在固態(tài)硬盤上，冷數(shù)據(jù)在機(jī)械硬盤上來提高存儲效率。
whistwu SmartX解決方案經(jīng)理：
easytier是IBM的叫法，一般廠商都有數(shù)據(jù)分層功能，但是在分布式存儲上要按類型來看。
首先，easytier叫法主要是在IBM的block類型存儲上，因?yàn)榧惺酱鎯Φ募軜?gòu)和緊耦合，所以Volume邏輯卷可以跨了不同介質(zhì)，一部分空間在SSD盤上，一部分空間在HDD上，通過自動分層可以提高磁盤的使用效率。
但是如果把easytier放在分布式上，可能就玩不轉(zhuǎn)了，原因很簡單，分布式存儲是一種松耦合的結(jié)構(gòu)，大部分是一類服務(wù)器使用全部的SSD，一部分服務(wù)器使用了HDD，正常情況下會將SSD做成一個(gè)storage pool，一個(gè)做成HDD storage pool，如果我的一個(gè)Volume邏輯卷跨了兩個(gè)服務(wù)器，通過網(wǎng)絡(luò)來做tier，想想其中的效率就很可怕，所以一般分布式塊存儲上不會帶easytire這樣的功能，而是把SSD作為Cache來使用。
其次，在分布式文件和對象存儲中，tier是可以的，因?yàn)槲覀兲幚淼氖菃蝹€(gè)文件對象，部分文件放在SSD上，部分文件放在HDD上，從邏輯上放在一個(gè)文件夾或者對象桶中，所以這部分可以實(shí)現(xiàn)冷熱數(shù)據(jù)分層的效果。
8、向分布式存儲遷移的過程，一般有哪些手段用來進(jìn)行平滑遷移，不影響正常業(yè)務(wù)？
【問題描述】傳統(tǒng)架構(gòu)很多都是基于san架構(gòu)的傳統(tǒng)存儲，在分布式存儲規(guī)劃實(shí)施后，會涉及到一個(gè)比較大的數(shù)量級的數(shù)據(jù)遷移，一般情況會有哪些手段來確保整個(gè)遷移過程的安全可控？
whistwu SmartX解決方案經(jīng)理：
從SAN存儲遷移到分布式存儲，有別于文件遷移方式，其中最重要的是考慮數(shù)據(jù)一致性，而數(shù)據(jù)一致性的認(rèn)定標(biāo)準(zhǔn)是在應(yīng)用側(cè)。最基本的方式是備份恢復(fù)的方法，對SAN存儲上的數(shù)據(jù)備份，恢復(fù)到對應(yīng)分布式存儲的主機(jī)上，要考慮備份效率和恢復(fù)效率，還要考慮數(shù)據(jù)增長情況。另外一種方法是把分布式存儲掛到需要遷移的主機(jī)下，在主機(jī)層面上做邏輯卷到邏輯卷的copy，并在遷移后檢查數(shù)據(jù)的一致性，對業(yè)務(wù)會有一些影響，需要在空閑的時(shí)候做。
其次，SAN存儲用在數(shù)據(jù)庫上比較多，建議采用數(shù)據(jù)庫的遷移方式，比如Oracle的OGG和DG，數(shù)據(jù)庫能實(shí)施復(fù)制，最后將SAN存儲切換下線即可。
最后，還可以采用專業(yè)的遷移工具，比如使用代理的CDP方式，記錄卷級別的IO操作，并在分布式存儲上恢復(fù)卷的數(shù)據(jù)。
后兩種方式一般用在SAN存儲的遷移上，比較安全可控，當(dāng)然選擇哪種遷移方式需要根據(jù)自身系統(tǒng)的特點(diǎn)來選擇。
9、分布式存儲資源池硬件架構(gòu)如何規(guī)劃？
【問題描述】如果一家企業(yè)，數(shù)據(jù)量在100T以下，每年預(yù)計(jì)數(shù)據(jù)增長量在30T左右，建議硬件架構(gòu)怎么規(guī)劃？如果一家公司數(shù)據(jù)量在200-600T之間，每年預(yù)計(jì)數(shù)據(jù)增長量在100T左右，建議硬件架構(gòu)怎么規(guī)劃？每年硬件都會發(fā)生變化，如果新采購新服務(wù)器加入存儲池，需要注意哪些事項(xiàng)？
whistwu SmartX解決方案經(jīng)理：
先按3年的增長情況規(guī)劃，并預(yù)留好buff。假設(shè)初始100TB可用容量，每年預(yù)計(jì)增長30TB，3年大約是160TB，預(yù)留20%作為緩沖空間，按2副本計(jì)算，差不多是160_120%_2約384TB裸容量；如果采用12盤位的服務(wù)器，2塊960G SSD做緩存，10塊4TB HDD做容量盤，約40TB每臺；第一年需要100T_1.2_2=240TB，差不多6臺設(shè)備做一個(gè)集群，，后面每年增加2臺相同配置服務(wù)器加入到集群中；硬件架構(gòu)最重要的是考慮網(wǎng)絡(luò)規(guī)劃設(shè)計(jì)，一般分布式存儲網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò)要單獨(dú)分開，采用萬兆光纖端口，有條件的單獨(dú)兩張網(wǎng)卡，互不影響，端口建議綁定，新服務(wù)器加入到集群中建議在業(yè)務(wù)不忙時(shí)段做，因?yàn)閿?shù)據(jù)可能會做rebalancing。
10、分布式存儲已依靠軟件保證數(shù)據(jù)冗余，是否還需要其他手段保證？
【問題描述】分布式存儲已依靠軟件保證數(shù)據(jù)冗余，是否還需要其他手段保證。例如hdfs已經(jīng)是三副本存儲，是否還需要對磁盤做raid保證可靠性。
榮重實(shí)XSKY技術(shù)總監(jiān)：
已經(jīng)三副本的情況下，如果底層再做raid，感覺對空間的損耗就太大了，沒有必要；不如增加一些CRC校驗(yàn)手段去避免磁盤邏輯損壞和磁盤掃描技術(shù)去預(yù)判磁盤物理損壞；另外現(xiàn)在EC糾刪碼技術(shù)很成熟，性能也很接近副本，可以通過加大糾刪碼的校驗(yàn)值的方式提高容錯(cuò)能力。
11、關(guān)于分布式存儲資源池容災(zāi)規(guī)劃
【問題描述】在分布式存儲容災(zāi)相對傳統(tǒng)容災(zāi)有什么差別？如果需要做兩地三中心，我們需要怎么去規(guī)劃？
趙海技術(shù)經(jīng)理：
在分布式存儲，容災(zāi)相對傳統(tǒng)容災(zāi)有什么差別？
傳統(tǒng)存儲容災(zāi)，似乎大家更愿意追求存儲層基于SAN環(huán)境的同步復(fù)制，追求同城雙活。業(yè)務(wù)場景上也多數(shù)為關(guān)系型數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)，無論是應(yīng)用層還是存儲Block層都追求數(shù)據(jù)強(qiáng)一致性，并發(fā)控制非常嚴(yán)格。分布式存儲，其生來就與集中式存儲的并發(fā)控制、數(shù)據(jù)組織形式、高可用模式等各個(gè)方面都有所區(qū)別，其適用的場景更多的是非結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)應(yīng)用場景，對數(shù)據(jù)的并發(fā)控制要求并不是那么嚴(yán)格。因此它的容災(zāi)更多的是異步復(fù)制的模式，不限于地域的遠(yuǎn)近。
如果需要做兩地三中心，我們需要怎么去規(guī)劃？
首先分布式存儲系統(tǒng)屬于整個(gè)IT架構(gòu)當(dāng)中的一部分，兩地三中心架構(gòu)是基于整體IT架構(gòu)來做規(guī)劃的，所以分布式存儲系統(tǒng)只是局部一部分，在整體容災(zāi)目標(biāo)的框架下，利用其異步復(fù)制和集群算法及適用條件（大集群還是兩個(gè)集群）要求融到整個(gè)框架中。
12、分布式存儲節(jié)點(diǎn)數(shù)量規(guī)劃？
【問題描述】理論上分布式存儲節(jié)點(diǎn)數(shù)可以橫向無限擴(kuò)展，但是節(jié)點(diǎn)數(shù)量多了以后在實(shí)際的運(yùn)維過程中有很多問題，例如重平衡時(shí)間長等。現(xiàn)在是否有節(jié)點(diǎn)數(shù)量的最佳實(shí)踐？
榮重實(shí)XSKY技術(shù)總監(jiān)：
對于分布式存儲節(jié)點(diǎn)的規(guī)劃，提出問題一定是有大規(guī)模部署的需求，可以從以下幾個(gè)角度去考慮和設(shè)計(jì)：
1、性能和容量直接需求，是否需要在一個(gè)分布式存儲集群上提供全部能力，或者一個(gè)數(shù)據(jù)資源池上提供全部能力。
2、故障域的區(qū)分，是否需要配合物理位置的不同，進(jìn)行設(shè)計(jì)。
3、產(chǎn)品的實(shí)際能力，比如一個(gè)資源池支持磁盤數(shù)量上限和性能上限。
有些時(shí)候是實(shí)踐得出的經(jīng)驗(yàn)值，比如vSAN的集群部署大多在10-12個(gè)節(jié)點(diǎn)；其實(shí)一個(gè)集群節(jié)點(diǎn)數(shù)量多，管理和運(yùn)維仍然是按照一套模式在進(jìn)行，但是后端的cluster網(wǎng)絡(luò)承載的信息會非常多，對產(chǎn)品的設(shè)計(jì)和架構(gòu)能力更是考驗(yàn)。
13、分布式存儲資源池在不同業(yè)務(wù)場景下硬件資源分配策略如何規(guī)劃？
【問題描述】分布式存儲資源池在投產(chǎn)運(yùn)營后，針對不同業(yè)務(wù)場景需求，其主機(jī)磁盤比如何測算？其服務(wù)器資源更新策略該如何與之相匹配？
榮重實(shí)XSKY技術(shù)總監(jiān)：
選擇存儲磁盤類型和配比，還是根據(jù)IO模型的不同，進(jìn)行一些分類。
1、全閃場景，去應(yīng)對高IO，海量小文件讀寫等。
2、混閃場景，較高的混合IO，現(xiàn)在多用2U12盤的服務(wù)器，2塊ssd+10塊hdd的方式。
3、全HDD場景，多是大塊穩(wěn)定流。
14、分布式存儲，前端數(shù)據(jù)的訪問機(jī)制是如何實(shí)現(xiàn)的？
榮重實(shí)XSKY技術(shù)總監(jiān)：
應(yīng)用訪問存儲的機(jī)制，在傳統(tǒng)存儲和分布式存儲，邏輯上不會有什么變化；數(shù)據(jù)通過傳輸介質(zhì)到存儲，經(jīng)過寫緩存之后落盤，再返回完成標(biāo)識，表示一次寫動作完成；讀請求到存儲后會優(yōu)先從讀緩存區(qū)尋找，如果沒有再去磁盤池獲??；與傳統(tǒng)存儲不同的是，一個(gè)數(shù)據(jù)會被拆散到多個(gè)物理節(jié)點(diǎn)上存放，讀取的時(shí)候也是要從多個(gè)節(jié)點(diǎn)先匯總再拿走。
15、從傳統(tǒng)架構(gòu)升級到分布式存儲架構(gòu)轉(zhuǎn)型需要哪些過程，整合哪些資源？
榮重實(shí)XSKY技術(shù)總監(jiān)：
充分了解已有的應(yīng)用使用情況和IO模型，傳統(tǒng)存儲與分布式存儲之間不是升級的概念，而是場景適合與否；所以要確認(rèn)當(dāng)前業(yè)務(wù)適合使用分布式架構(gòu)，比如計(jì)算存儲的橫向擴(kuò)展能力要求高，數(shù)據(jù)幾十年的長期保存以及敏捷快速部署的需求。
