引言
我在一家銀行的科技公司做運維工程師，前幾天和北極熊一起吃飯，聊到我們在存儲選擇方面踩到的一些坑，北極熊建議我寫一篇文章和讀者分享下。經(jīng)常讀云技術(shù)上的技術(shù)文章，這次記錄下我們在選擇存儲方面踩的一些坑，也算是回饋。因為行里有要求，所以隱去了我們行的名稱和具體運行的業(yè)務，請大家見諒。
一、存儲的挑戰(zhàn)：多場景，高可靠，高性能
先簡單介紹下基本情況，我們屬于銀行的科技公司，移動支付及新金融的發(fā)展給銀行帶來了極大的挑戰(zhàn)?？萍脊揪褪倾y行的創(chuàng)新部門，基于銀行的資源，用互聯(lián)網(wǎng)的方式來創(chuàng)新。
我們經(jīng)過大概一年多緊張的研發(fā)，在去年暑期的時候，準備上線一項新業(yè)務，這時候碰到一個調(diào)整，就是生產(chǎn)環(huán)境的存儲選型。
我們的業(yè)務情況是這樣的：
數(shù)據(jù)庫：和計費相關(guān)的使用Oracle，其他模塊使用MySQL；
開發(fā)語言：Java；
虛擬化：測試環(huán)境有VMware vSphere 6.7及某品牌的商業(yè)存儲，也有一個OpenStack+Ceph的集群；
容器：開源的Kubernetes，存儲使用的Ceph。
因為是新項目，一開始就是容器加微服務，發(fā)布用的是Jenkins，但是因為復用了一部分老組件（主要是計費），還需要使用虛擬化。
現(xiàn)在要上生產(chǎn)環(huán)境，發(fā)現(xiàn)存儲遇到難題，生產(chǎn)環(huán)境畢竟不同于測試環(huán)境，必須高可靠，不能丟失數(shù)據(jù)；性能也要滿足要求，峰值的時候，要能撐的??；另外，必須支持Oracle數(shù)據(jù)庫，支持VMware虛擬化，最好能支持容器環(huán)境。
當時有兩個思路：
1、使用商業(yè)存儲；
2、使用開源的Ceph。
使用商業(yè)的集中式存儲陣列，我們測算了下，不光費用驚人，核心數(shù)據(jù)庫需要一套存儲，VMware虛擬化需要一套存儲。還有兩個難題搞不定，第一個難題是容器的存儲如何解決，商業(yè)集中式存儲陣列和云原生的Kubernetes平臺技術(shù)架構(gòu)上明顯不搭，雖然有些陣列廠家也能提供一些插件給到容器平臺使用，但從技術(shù)架構(gòu)選型的角度看，不能作為未來架構(gòu)長期使用。
第二難題是商業(yè)存儲的擴容問題，我們測算了數(shù)據(jù)量，如果業(yè)務發(fā)展順利的話，存儲的數(shù)據(jù)量可能增長比較快，加上快照、備份等，存儲的空間可能半年時間就不夠用了。解決辦法只能是再加一套存儲，雖然商業(yè)存儲也支持幾套存儲級聯(lián)，但是級聯(lián)的能力有限，如果兩三年時間就達到級聯(lián)的上限，會比較麻煩。類似的情況在我們行里也碰到過，解決辦法只能是在業(yè)務層進行拆分，影響過大。
生產(chǎn)環(huán)境使用Ceph方案，可靠性能否達到生產(chǎn)環(huán)境的要求，我們心里沒有底。Ceph對運維能力要求比較高，在測試環(huán)境中，不時會碰到一些問題。使用Ceph方案，很快就被我們部長否定了，部長要求穩(wěn)定第一，讓我們再找?guī)追N方案試試。
這時候，一家保險公司做運維的朋友，推薦了他們使用的分布式存儲，說他們已經(jīng)用了小半年了，數(shù)據(jù)庫、VMware、Kubernetes都跑了，性能不錯，也沒有出過問題。
他推薦的是青云QingCloud旗下的QingStor NeonSAN企業(yè)級分布式塊存儲，我初步調(diào)研了下，發(fā)現(xiàn)是一個不錯的方案。
二、初步調(diào)研：QingStor NeonSAN支持數(shù)據(jù)庫、虛擬化、容器多場景
簡單介紹下QingStor NeonSAN，它定位為面向核心業(yè)務的全閃分布式塊存儲。
1. 可靠性、性能、擴展性滿足要求
QingStor NeonSAN誕生在閃存時代，一開始就定位為全閃架構(gòu)，沒有歷史包袱，軟件棧對閃存做了全面的優(yōu)化。
QingStor NeonSAN經(jīng)過近7年的技術(shù)積累，在可靠性和性能方面已經(jīng)達到傳統(tǒng)中高端存儲的水平，并且可擴展性更好。在架構(gòu)方面，通過對數(shù)據(jù)、軟件架構(gòu)和硬件組網(wǎng)的高可靠設(shè)計，QingStor NeonSAN的可靠性可以達到9個9。
在節(jié)點擴容方面，繼承分布式架構(gòu)的優(yōu)點，1個集群最大可擴容至4096節(jié)點，并且可以保證性能和容量隨節(jié)點增加而線性增長。
2. 支持場景滿足要求
QingStor NeonSAN可以應用于多種業(yè)務場景：
容器和云、虛擬化場景
QingStor NeonSAN在容器上也做了很多適配工作，可以通過CSI插件對接原生Kubernetes平臺，也可以支持青云QingCloud旗下KubeSphere容器平臺。
QingStor NeonSAN不僅僅支持青云QingCloud自己的云平臺，還支持常見的VMware、OpenStack、Hyper-V等虛擬化平臺。針對VMware的客戶，QingStor NeonSAN通過了VMware Storage Ready認證，支持VMware VAAI-Block功能。
數(shù)據(jù)庫場景
QingStor NeonSAN在數(shù)據(jù)庫場景上，不僅可以滿足容量、性能、可靠性需求，而且很好地提供了雙活和異地容災的能力，通過部署全閃QingStor NeonSAN，多個Oracle RAC可以掛載同一個QingStor NeonSAN，作為共享存儲。
通過使用QingStor NeonSAN，不僅僅滿足了業(yè)務需求，而且獲得了以下兩個額外的好處：
實現(xiàn)了一套存儲通過靈活的配置，滿足不同業(yè)務的存儲需求，能夠有效降低各類存儲系統(tǒng)的投資和管理成本。
平滑擴容，讓業(yè)務無感知，并且擴容時間更短、效率更高。
三、真刀實槍測試：極端壓測、多業(yè)務場景、斷電拔網(wǎng)線
我向部長匯報了QingStor NeonSAN的初步調(diào)研情況，并決定先在PoC環(huán)境測試下，聯(lián)系了青云QingCloud的工程師，一起搭建了一個測試環(huán)境。
PoC環(huán)境為三臺全閃服務器，存儲網(wǎng)絡為RDMA，數(shù)據(jù)網(wǎng)絡為全萬兆。
1. 功能測試
Oracle測試：可以順利的完成單數(shù)據(jù)庫支持、RAC集群數(shù)據(jù)庫支持等。
VMware測試：QingStor NeonSAN是通過VMware兼容性認證的，這里測試沒有碰到問題。而且QingStor NeonSAN支持VMware VAAI-Block功能，這是高端傳統(tǒng)存儲才有的功能，說明QingStor NeonSAN在虛擬化的支持上已經(jīng)非常細粒度，考慮到了用戶實際使用場景的許多細節(jié)需求。
OpenStack測試：通過Cinder直接對接，順利完成。
容器測試：通過Kubernetes CSI插件對接，順利完成。
當然，并不是功能測試對接起來就完了，我們還嚴格的進行了各種場景下的功能測試，比如Oracle模擬數(shù)據(jù)庫的創(chuàng)建、備份等場景。VMware、OpenStack模擬了全生命周期的虛擬機管理，也將我們的業(yè)務測試用例在容器上全部跑了一遍，這里就不贅述了?？傊?，功能測試層面，達到了我們的預期。
2. 性能測試
先用FIO進行了基本的性能測試，并且和傳統(tǒng)存儲做了對比，三臺全閃配置的情況下，IOPS可以達到60萬以上。
隨后又測試了各種業(yè)務場景，對極端情況進行了測試。測試環(huán)境只有3臺，正式環(huán)境準備上9臺，但是按照正式環(huán)境來打壓力，最終發(fā)現(xiàn)，即使只使用3臺性能上也能夠滿足要求，只是容量不夠。當然，分布式存儲隨著節(jié)點增加，性能會隨著上升。
3. 破壞性測試
考慮到生產(chǎn)環(huán)境有可能碰到的極端情況，我們也進行了一系列破壞性測試：
拔插硬盤：模擬硬盤故障，觀察對性能和穩(wěn)定性的影響，結(jié)果為對業(yè)務無影響。
拔插網(wǎng)線：模擬網(wǎng)線故障，觀察對性能和穩(wěn)定性的影響，結(jié)果為對業(yè)務無影響。
關(guān)閉一臺存儲交換機：因為存儲交換機使用的雙冗余，關(guān)閉一臺交換機后，存儲間通信的多路徑機制會進行路徑切換，保證業(yè)務的繼續(xù)正常運行。
斷電：拔掉一臺服務器電源，模擬服務器故障，性能有短暫抖動，很快穩(wěn)定，穩(wěn)定后性能無明顯變化，業(yè)務運行無中斷。
順便說下，一般分布式存儲在擴容的時候，對性能都有影響，QingStor NeonSAN提供了定時擴容的功能，可以靈活選擇在晚上業(yè)務低峰時，啟動數(shù)據(jù)再平衡。再平衡還可以限速，最大程度保證業(yè)務穩(wěn)定。
四、正式上線大半年，穩(wěn)定
基于嚴格的測試，我們比較有信心，決定生產(chǎn)環(huán)境使用QingStor NeonSAN，同時傳統(tǒng)存儲作為應急備份。
業(yè)務上線比較順利，推廣效果也不錯，整個系統(tǒng)經(jīng)過大半年運行，比較穩(wěn)定，沒有出過大問題。尤其是QingStor NeonSAN存儲，一套存儲支持數(shù)據(jù)庫、虛擬化、容器多套場景，中間還因為業(yè)務發(fā)展需要，擴容了兩次，一直很穩(wěn)定。
五、傳統(tǒng)存儲無可奈何花落去，SDS不盡長江滾滾來
因為深度使用了QingStor NeonSAN存儲后，我特意調(diào)研了軟件定義存儲，也和大家分享下這方面收集到的一些數(shù)據(jù)和我的分析。最近幾年的存儲市場可以用一升一降來形容，傳統(tǒng)存儲市場份額不斷下降，軟件定義存儲(SDS)的市場份額飆升，SDS已形成星星燎原之勢。
1. SDS迅猛發(fā)展背后的三大原因
SDS之所以能夠獲得迅猛增長，主要是三大原因：技術(shù)的迭代發(fā)展，云計算的加速落地，用戶數(shù)據(jù)指數(shù)級的增長。
硬件方面，SSD、網(wǎng)絡技術(shù)突飛猛進。2017年SSD市場規(guī)模首次超過HDD，根據(jù)研究機構(gòu)Mordor Intelligence統(tǒng)計，2019年，固態(tài)硬盤（SSD）市場份額為348.6億美元，預計在2020年至2025年，復合年增長率為14.94％，到2025年將達到803.4億美元。
網(wǎng)絡方面，隨著萬兆網(wǎng)絡、RDMA技術(shù)及InfiniBand架構(gòu)的普及，網(wǎng)絡沿著10Gb、25Gb、100Gb的路徑演進，未來甚至可達到400Gb。
根據(jù)Gartner發(fā)布的最新云計算市場追蹤數(shù)據(jù)顯示，2019年全球云計算IaaS市場持續(xù)快速增長，同比增長37.3%，總體市場規(guī)模達445億美元。根據(jù)IDC的統(tǒng)計，2025年全球的數(shù)據(jù)量達到163ZB。
閃存和網(wǎng)絡技術(shù)的迭代，為SDS的發(fā)展打下了很好的硬件技術(shù)基礎(chǔ)。云計算的底層存儲基本都是SDS的方式，為SDS積累了豐富的經(jīng)驗。用戶大量的數(shù)據(jù)存儲需求，刺激了SDS的發(fā)展。
2. QingStor NeonSAN表現(xiàn)優(yōu)異
在IDC最新發(fā)布的《中國軟件定義存儲及超融合市場跟蹤研究報告，2019Q4》中，青云QingCloud旗下QingStor企業(yè)級分布式存儲和青立方超融合憑借優(yōu)異的技術(shù)和市場表現(xiàn)雙雙入圍核心廠商。其中，QingStor NeonSAN連續(xù)兩年入圍，躋身軟件定義塊存儲市場四強，并且成功帶動QingStor企業(yè)級分布式存儲近三年復合增長率超600%。
NeonSAN的命名也很有寓意，NeonSAN名字來自于元素周期表中的Ne。Ne是一種惰性氣體，特質(zhì)是穩(wěn)定，意為NeonSAN在可靠性、穩(wěn)定性上達到比較高的水準。
軟件定義存儲經(jīng)過不斷的積累，在硬件迭代，用戶需求的推動下，已經(jīng)日趨成熟，而傳統(tǒng)存儲昂貴，擴展性差的短板，已經(jīng)不能滿足海量的數(shù)據(jù)存儲需求。滄海濁流方顯英雄本色，SDS在高可靠性，高性能方面已經(jīng)能夠滿足核心業(yè)務需求，特別是QingStor NeonSAN，不僅可靠性能達到9個9，性能優(yōu)異，可擴展性強，而且有快照、克隆、加密、QoS、異步/同步復制、容災等多種企業(yè)存儲特性，是企業(yè)核心業(yè)務值得選擇的存儲。
基于第二代英特爾?至強?可擴展平臺打造的QingStor NeonSAN，可確保在計算、存儲、網(wǎng)絡、軟件等多層面為企業(yè)客戶帶來性能強勁、安全可靠、簡單易用的軟件定義存儲解決方案，從而顯著降低系統(tǒng)部署的復雜度和TCO，與企業(yè)現(xiàn)有重要業(yè)務快速無縫銜接。除此之外， QingStor NeonSAN適配英特爾?傲騰?固態(tài)盤（Optane）和英特爾?高速緩存加速軟件（Intel Cache Acceleration Sotware）等多項新技術(shù)，實現(xiàn)超高吞吐與極低延時，并且和英特爾共同對整體方案進行了性能優(yōu)化，能夠充分應對企業(yè)應用的嚴苛挑戰(zhàn)。
