本文源自twt企業(yè)IT社區(qū)，作者|徐子晨（某商業(yè)銀行存儲(chǔ)工程師）。
一、引言
近年來，在國務(wù)院《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》、央行《金融科技發(fā)展規(guī)劃(2022-2025年)》、銀保監(jiān)會(huì)《關(guān)于銀行業(yè)保險(xiǎn)業(yè)數(shù)字化轉(zhuǎn)型的指導(dǎo)意見》等一系列政策的推動(dòng)下，銀行業(yè)的數(shù)字化轉(zhuǎn)型正在進(jìn)入“加速跑”的新階段，并更加注重?cái)?shù)據(jù)管理和信息技術(shù)應(yīng)用創(chuàng)新。
其中，數(shù)據(jù)作為數(shù)字經(jīng)濟(jì)時(shí)代最重要的生產(chǎn)要素，也是支撐金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型的關(guān)鍵要素，銀行在數(shù)字化轉(zhuǎn)型中，充分釋放數(shù)據(jù)要素的價(jià)值潛能至關(guān)重要。而要開展數(shù)據(jù)挖掘、數(shù)據(jù)分析，讓數(shù)據(jù)賦能業(yè)務(wù)發(fā)展，就必須要建立穩(wěn)定高效的數(shù)據(jù)基礎(chǔ)設(shè)施。
二、銀行傳統(tǒng)環(huán)境的存儲(chǔ)現(xiàn)狀
為了應(yīng)對(duì)銀行業(yè)OLAP業(yè)務(wù)和關(guān)系型數(shù)據(jù)庫大量上線應(yīng)用，批處理普遍存在處理時(shí)間窗口緊張的問題，以FC-SAN網(wǎng)絡(luò)和集中式全閃存儲(chǔ)設(shè)備作為IT系統(tǒng)基礎(chǔ)架構(gòu)成為保障業(yè)務(wù)系統(tǒng)高性能、高可靠性、低延時(shí)的通用底座。采用冗余配置的光纖交換機(jī)具有可靠的穩(wěn)定性和安全性，服務(wù)器和存儲(chǔ)設(shè)備通過冗余光纖通道分別連接到互為冗余的SAN光纖交換機(jī)上，F(xiàn)C-SAN提供了一套高性能、高可靠和高可使用的解決方案。
三、傳統(tǒng)環(huán)境存儲(chǔ)運(yùn)維面臨的問題
SAN光纖交換因?qū)＠麎艛嗟仍颍擅绹?00%掌控供應(yīng)，這對(duì)于我國金融行業(yè)未來全面自主可控將帶來巨大的風(fēng)險(xiǎn)，光纖交換機(jī)成為我國新基礎(chǔ)設(shè)施建設(shè)中最大的短板與絆腳石。為我國金融行業(yè)在全面自主可控的道路上攻克光纖交換機(jī)這一美國技術(shù)堡壘，特別需要探索一種在保證IT技術(shù)設(shè)施層包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)的全面自主可控的同時(shí)，可以達(dá)成比使用FC交換機(jī)更好性能的解決方案。
四、信創(chuàng)環(huán)境下存儲(chǔ)網(wǎng)絡(luò)替換實(shí)施
面對(duì)銀行業(yè)數(shù)字化轉(zhuǎn)型的新需求，從數(shù)據(jù)基礎(chǔ)設(shè)施入手無疑是夯實(shí)基礎(chǔ)的關(guān)鍵。近年來GPU和SSD的廣泛應(yīng)用，使得數(shù)據(jù)中心的計(jì)算和存儲(chǔ)性能提升迅速，但網(wǎng)絡(luò)協(xié)議逐漸成為數(shù)據(jù)中心的性能瓶頸，迫切需要打造一條新的“高速路”。
最初，NVMe作為一種硬盤接口協(xié)議，可以充分發(fā)揮SSD介質(zhì)顆粒的性能，釋放存儲(chǔ)系統(tǒng)的巨大潛力。如今，NVMe SSD已經(jīng)逐漸被對(duì)性能有極高要求的云服務(wù)商廣泛采用。來自Gartner的預(yù)測(cè)顯示，2022年NVMe SSD在存儲(chǔ)中占比將達(dá)到52%，超越半壁江山，成為真正的主流，NVMe與SAS協(xié)議IO路徑對(duì)比如圖1所示。
圖1 NVMe與SAS協(xié)議IO路徑對(duì)比
RDMA（Remote Direct Memory Access，遠(yuǎn)程直接內(nèi)存訪問功能）是一種遠(yuǎn)端直接內(nèi)存訪問技術(shù)，利用相關(guān)的硬件和網(wǎng)絡(luò)技術(shù)，將數(shù)據(jù)直接從一臺(tái)計(jì)算機(jī)的內(nèi)存?zhèn)鬏數(shù)搅硪慌_(tái)計(jì)算機(jī)，無需雙方操作系統(tǒng)的介入。最終達(dá)到高帶寬、低時(shí)延和低資源消耗率的效果。RDMA專用的InfiniBand網(wǎng)絡(luò)架構(gòu)封閉，無法兼容現(xiàn)網(wǎng)，使用成本較高，隨著在網(wǎng)絡(luò)融合大趨勢(shì)下出現(xiàn)的RoCE，這使高速、超低延時(shí)、極低CPU使用率的RDMA得以部署在目前使用最廣泛的以太網(wǎng)上。
RoCE是使用以太網(wǎng)承載RDMA的網(wǎng)絡(luò)協(xié)議，性能與IB網(wǎng)絡(luò)相當(dāng)，需要以太網(wǎng)支持DCB特性，保證網(wǎng)絡(luò)無丟包。RoCEv2是一種網(wǎng)絡(luò)層協(xié)議，引入IP解決擴(kuò)展性問題，可以跨二層組網(wǎng)，實(shí)現(xiàn)路由功能。RDMA協(xié)議棧如圖2所示。
圖2 RDMA協(xié)議棧
NVMe over RoCE是NVMe over RDMA的一種，如圖3所示，利用RDMA的高性能遠(yuǎn)程訪問實(shí)現(xiàn)遠(yuǎn)程訪問NVMe設(shè)備。NVMe over RDMA直接在RDMA多隊(duì)列上實(shí)現(xiàn)了NVMe多IO隊(duì)列，RDMA的SQ/CQ和NVMe SQ/CQ一一對(duì)應(yīng)，實(shí)現(xiàn)端到端多隊(duì)列，無需定義新的報(bào)文格式，NVMe協(xié)議報(bào)文直接作為RDMA數(shù)據(jù)傳輸。
圖3 NVMe over RoCE隊(duì)列映射
NVMe over RoCE組網(wǎng)和iSCSI組網(wǎng)類似，都是基于IP網(wǎng)絡(luò)，NVMe over RoCE要求交換支持DCB無損網(wǎng)絡(luò)配置。全閃存存儲(chǔ)系統(tǒng)需要支持NVMe over RoCE的接口卡為RoCE接口卡，通?？梢灾С?5GE、100GE速率。
面對(duì)標(biāo)準(zhǔn)NVMe over RoCE組網(wǎng)（如圖4）
相較于FC組網(wǎng)在自動(dòng)管理和易用性上的短板，國內(nèi)大部分廠商通過推出網(wǎng)絡(luò)管理增強(qiáng)插件實(shí)現(xiàn)主機(jī)自動(dòng)快速建立連接，快速識(shí)別故障的能力，更好的支撐企業(yè)核心業(yè)務(wù)應(yīng)用的需求。為了發(fā)揮全閃存存儲(chǔ)NVMe SSD的最大性能，同時(shí)能夠擴(kuò)展NVMe在數(shù)據(jù)中心中的應(yīng)用，NVMe over Fabric應(yīng)運(yùn)而生，我國IT基礎(chǔ)設(shè)施廠商選擇的NVMe overRoCE（NoF+），不僅確保了信息技術(shù)應(yīng)用創(chuàng)新需求，也具有更高的綜合性能和成本效益。通過服務(wù)器，交換機(jī)，存儲(chǔ)配合，安裝SNSD（存儲(chǔ)網(wǎng)絡(luò)智能發(fā)現(xiàn)）插件（圖5），注冊(cè)NVMe-oF服務(wù)信息，實(shí)現(xiàn)服務(wù)變化廣播，服務(wù)器通過接受服務(wù)變化廣播通知，實(shí)現(xiàn)對(duì)NVMe-oF Target訪問控制。
圖5 SNSD增強(qiáng)插件
全閃存存儲(chǔ)系統(tǒng)可以支持存儲(chǔ)設(shè)備自動(dòng)發(fā)現(xiàn)；主機(jī)增強(qiáng)驅(qū)動(dòng)自動(dòng)發(fā)現(xiàn)網(wǎng)絡(luò)中的存儲(chǔ)設(shè)備，自動(dòng)建立連接，無需手動(dòng)建議連接；鏈路故障自動(dòng)快速切換IO路徑；主機(jī)增強(qiáng)驅(qū)動(dòng)根據(jù)收到的相關(guān)端口變化信息自動(dòng)將存儲(chǔ)斷開，并將業(yè)務(wù)切換至備用連接，如圖6所示。
圖6 NVMe-oF快速故障切換
五、結(jié)語
從改造結(jié)果上來看，在去除FC-SAN之后端到端的NVMe環(huán)境能夠得到相較于FC更高的性能表現(xiàn)。從自主可控的角度出發(fā)，當(dāng)前NVMe overRoCE組網(wǎng)替換FC-SAN交換機(jī)組網(wǎng)稱得上是我國IT基礎(chǔ)設(shè)施全面自主可控的最佳解決方案。具體對(duì)比情況總結(jié)如表1所示：
表1 FC-SAN交換機(jī)組網(wǎng)與NVMe over RoCE增強(qiáng)組網(wǎng)對(duì)比表
