一、金融行業(yè)應(yīng)用特性
在金融行業(yè)的IT系統(tǒng)中，存儲設(shè)備有著舉足輕重的位置。我們知道，金融企業(yè)客戶的存款數(shù)據(jù)、貸款數(shù)據(jù)、理財數(shù)據(jù)、交易數(shù)據(jù)等等全部存在IT系統(tǒng)中，全部都是數(shù)字化、電子化的。這些數(shù)據(jù)的安全直接影響客戶和企業(yè)的資金安全，這些數(shù)據(jù)的存取效率直接影響客戶體驗，它們都存放在存儲設(shè)備中，因此存儲設(shè)備的選擇經(jīng)常被大家關(guān)注。本文重點講講金融企業(yè)如何選擇存儲。
以銀行為例，我們來審視一下金融行業(yè)的應(yīng)用都有哪些特點。從業(yè)務(wù)類型來看，銀行業(yè)務(wù)系統(tǒng)有交易類系統(tǒng)、經(jīng)營管理類系統(tǒng)、AI、BI等分析類系統(tǒng)、辦公類系統(tǒng)等。從數(shù)據(jù)的全生命周期來看，分為在線數(shù)據(jù)和非在線數(shù)據(jù)，非在線數(shù)據(jù)又有備份數(shù)據(jù)和歸檔數(shù)據(jù)。銀行應(yīng)用的多樣性，決定了數(shù)據(jù)的多樣性，從而也決定了對存儲設(shè)備選擇的多樣性。
交易類系統(tǒng)是銀行最重要的系統(tǒng)，它直接面向客戶提供金融業(yè)務(wù)服務(wù)。銀行的交易系統(tǒng)并非是單個系統(tǒng)，而是由許許多多的系統(tǒng)組成，其中最重要的系統(tǒng)是被稱為核心系統(tǒng)的賬務(wù)處理系統(tǒng)，圍繞著核心系統(tǒng)，還有眾多的產(chǎn)品、渠道類系統(tǒng)，它們共同構(gòu)成一套復(fù)雜的分布式業(yè)務(wù)處理系統(tǒng)。每套系統(tǒng)都有相對獨立的功能，客戶完成任何一筆金融業(yè)務(wù)，都會涉及到多套系統(tǒng)，其中任何一套系統(tǒng)的故障或緩慢都會影響客戶的業(yè)務(wù)體驗。因此，交易鏈路上的每套系統(tǒng)都需要很高的安全性、穩(wěn)定性和并發(fā)交易處理能力。近年來，隨著移動互聯(lián)網(wǎng)、Fintech對金融行業(yè)的影響，銀行的應(yīng)用系統(tǒng)也在不斷互聯(lián)網(wǎng)化，秒殺、交易銀行等新的應(yīng)用形態(tài)層出不窮，交易系統(tǒng)必須面對突發(fā)和不確定性的高并發(fā)，這對銀行系統(tǒng)的穩(wěn)定性和性能要求提出了更高的要求。
伴隨著交易系統(tǒng)，銀行還有大量的內(nèi)部經(jīng)營管理及分析類系統(tǒng)。管理分析類系統(tǒng)有實時分析系統(tǒng)及非實時分析系統(tǒng)，即我們常說的T+0系統(tǒng)和T+1系統(tǒng)。這些系統(tǒng)的數(shù)據(jù)類型和數(shù)據(jù)處理方式和交易系統(tǒng)有較大不同，這些系統(tǒng)對存儲的要求也有所不同。分析類系統(tǒng)不會面臨突發(fā)和不確定性的并發(fā)量，也不需要快速的單筆交易處理時間；但是分析類系統(tǒng)需要在一定的時間內(nèi)完成海量數(shù)據(jù)的處理和計算，需要具備非常強的批量處理能力和并行處理能力，這就要求對應(yīng)的存儲系統(tǒng)有較大的吞吐能力。
二、金融行業(yè)對存儲的需求
根據(jù)上述金融行業(yè)應(yīng)用的特性，結(jié)合應(yīng)用的具體技術(shù)形態(tài)，對存儲的需求基本有這幾類：
1、虛擬機應(yīng)用的IO特性及對存儲的需求
隨著云計算、虛擬化技術(shù)的推廣使用，金融行業(yè)不管是交易類系統(tǒng)還是分析類系統(tǒng)，大量應(yīng)用節(jié)點，包括web服務(wù)器、業(yè)務(wù)處理的App服務(wù)器、通訊服務(wù)器，及部分體量較小的數(shù)據(jù)庫基本都運行在虛擬機上。為了保證虛擬機的高可用，往往會構(gòu)建虛擬化集群，并使用共享存儲。虛擬機存儲的數(shù)據(jù)和數(shù)據(jù)訪問的特點是：數(shù)據(jù)存儲量大，通常一個虛擬機需要的存儲空間在幾十GB到數(shù)百GB不等；數(shù)據(jù)的重復(fù)量大，可壓縮的空間大；對IO性能的要求中等，對于應(yīng)用節(jié)點，IO時延在10ms（毫秒）左右基本可滿足要求，如果虛擬機上運行數(shù)據(jù)庫，則IO時延通常要求小于5ms。金融行業(yè)虛擬機通常通過共享存儲實現(xiàn)虛擬化的高可用，因此，對存儲的穩(wěn)定性有較高的要求。
2、容器應(yīng)用的IO特性及對存儲的需求
容器上運行的主要是無狀態(tài)應(yīng)用和輕量數(shù)據(jù)庫。容器應(yīng)用對存儲的需求，基本與虛擬機的需求差不多。由于一些應(yīng)用沒法完全做到無狀態(tài)，因此，容器應(yīng)用往往需要共享存儲，通常通過NAS來提供共享能力。
3、數(shù)據(jù)庫應(yīng)用的IO特性及對存儲的需求
數(shù)據(jù)庫系統(tǒng)一直處于金融業(yè)務(wù)系統(tǒng)的核心位置，幾乎所有的應(yīng)用系統(tǒng)都離不開數(shù)據(jù)庫，數(shù)據(jù)庫系統(tǒng)的性能問題常常是應(yīng)用系統(tǒng)性能問題的關(guān)鍵。存儲系統(tǒng)又在數(shù)據(jù)庫中起著決定性作用。數(shù)據(jù)庫按其處理業(yè)務(wù)的類型可分為OLTP（On-line Transaction Processing）、OLAP（On-Line Analytical Processing）和混合型。
OLTP主要處理的是前面所述的交易類系統(tǒng)，這類數(shù)據(jù)庫系統(tǒng)對存儲的IO時延極為敏感，并且都是隨機讀寫，通常對存儲的IO時延要求在2ms以內(nèi)，應(yīng)用系統(tǒng)的并發(fā)量越大，對存儲性能的要求越高。高IOPS（Input/Output Operations Per Second）、低時延是OLTP數(shù)據(jù)庫對存儲的共性要求。近年來像Redis等數(shù)據(jù)庫緩存的使用，隔離了應(yīng)用對數(shù)據(jù)庫的直接高并發(fā)訪問，從某種程度上降低了數(shù)據(jù)庫對存儲的要求。
OLAP主要處理的是前面所述的分析類的應(yīng)用，這類數(shù)據(jù)庫對存儲的吞吐量要求高、IOPS要求高，對IO時延也要求高，通常對存儲的IO時延要求在數(shù)ms之內(nèi)，由于OLAP可以容忍數(shù)據(jù)庫的單個SQL響應(yīng)時間略長，但對應(yīng)用任務(wù)整體處理時間還是有一定要求，因此IO時延也不能太長。
還有一類是OLTP與OLAP混合的數(shù)據(jù)庫，對于混合型數(shù)據(jù)庫，對存儲的要求是最高的，既要求IO時延短，又要求存儲數(shù)據(jù)的吞吐量大。但是在高并發(fā)的應(yīng)用系統(tǒng)設(shè)計中，通常會將應(yīng)用拆分，盡量避免使用此類混合型數(shù)據(jù)庫。
4、文件共享類應(yīng)用的IO特性及對存儲的需求
有些應(yīng)用系統(tǒng)的服務(wù)器節(jié)點之間，需要共享數(shù)據(jù)庫，常見的是文件共享。這類系統(tǒng)對存儲的要求是IO時延在幾個ms左右，并且隨著文件數(shù)量的增加，時延不能增加。
5、非結(jié)構(gòu)化數(shù)據(jù)和歸檔數(shù)據(jù)的IO特性及對存儲的需求
非計劃數(shù)據(jù)和歸檔數(shù)據(jù)的特點是文件數(shù)量大，文件數(shù)量通常在數(shù)億及以上；對存儲的時延要求不高，要求在幾十ms左右，但是要求存儲在容量增加時，性能不能降低。
6、融合結(jié)構(gòu)
上面講的是存儲和計算分離的情況。計算與存儲的融合結(jié)構(gòu)，比如超融合結(jié)構(gòu)，也是較常見的一種方式。物理機（裸金屬服務(wù)器）使用本地磁盤也是常見的一種融合結(jié)構(gòu)。這里均不做詳細討論。
7、運維智能化對存儲的需求
基于多設(shè)備、甚至是多設(shè)備多廠家管理的復(fù)雜情形下，金融企業(yè)數(shù)據(jù)中心需要有新型的管理方案，能夠按需分配存儲資源服務(wù)，自動化數(shù)據(jù)運維管理，支持開放架構(gòu)、多云鏈接和融合，支持未來金融業(yè)務(wù)走向全場景智能、多云融合。
8、容災(zāi)要求
在移動互聯(lián)網(wǎng)已普及、用戶對業(yè)務(wù)實時性需求越來越高的今天，保障業(yè)務(wù)連續(xù)性是重中之重，做好完備的災(zāi)備方案規(guī)劃和實施，實現(xiàn)業(yè)務(wù)不中斷、數(shù)據(jù)不丟失、操作無感知是每個企業(yè)都應(yīng)該思考的。在全閃數(shù)據(jù)中心中，完整的數(shù)據(jù)保護的過程應(yīng)該是一個數(shù)據(jù)加熱的過程，熱數(shù)據(jù)應(yīng)該全部做容災(zāi)保障7x24H的業(yè)務(wù)連續(xù)；對溫數(shù)據(jù)來說則需要做熱備份，這樣當故障發(fā)生時，備份數(shù)據(jù)就能夠快速轉(zhuǎn)變成我們需要的生產(chǎn)數(shù)據(jù)；對于冷數(shù)據(jù)或是歸檔數(shù)據(jù)，當它們轉(zhuǎn)變?yōu)闇貧w檔數(shù)據(jù)則能夠快速地被調(diào)用發(fā)揮價值。所以我們說，“熱數(shù)據(jù)全容災(zāi)，溫數(shù)據(jù)熱備份，冷數(shù)據(jù)溫歸檔”，這樣整個數(shù)據(jù)的訪問效率也會得到大幅度提升。
三、金融行業(yè)存儲曾經(jīng)的選擇
1、分布式與集中式之爭
集中式存儲是金融業(yè)常見的存儲設(shè)備，不管是SAN（Storage Area Network）存儲還是NAS（Network Attached Storage）存儲，在金融行業(yè)都已使用了二十年。很多銀行構(gòu)建了龐大的SAN存儲網(wǎng)絡(luò)或NAS網(wǎng)絡(luò)，并且運行穩(wěn)定。近些年隨著云計算技術(shù)的發(fā)展，互聯(lián)網(wǎng)企業(yè)開始大規(guī)模使用分布式存儲，分布式存儲給銀行傳統(tǒng)的集中存儲帶來了沖擊。很多金融企業(yè)面臨分布式和集中式存儲的選擇難題。
對于這個問題，其實不用糾結(jié)，不管是集中存儲還是分布式存儲都有其各自的特點和使用范疇。
集中存儲功能完善，穩(wěn)定性好，運維簡單，監(jiān)控、運維體系健全，技術(shù)成熟，可選擇的范圍也很廣，從中低端到高端產(chǎn)品齊全。不足是：單體容量有限，可擴展性較差，一次性投入大。
分布式存儲，通常使用多臺PC服務(wù)器，構(gòu)造一個軟件定義的存儲，其特點是1）IO吞吐量大；2）擴容方便；3）可以組成大規(guī)模的存儲池；4）采購成本可分批次、分階段投入，設(shè)備可以分批次折舊。但是由于分布式存儲的成熟度不足，以及分布式存儲本身網(wǎng)絡(luò)連接的條件不如集中式，導(dǎo)致穩(wěn)定的性能表現(xiàn)不足，運維相對復(fù)雜，配套的監(jiān)控、運維體系不足。
在選擇上，如果系統(tǒng)對延時要求高，對性能的穩(wěn)定性要求高，那么最好的選擇是集中式存儲。如果系統(tǒng)對IO吞吐量的要求高，而對性能要求沒那么高，分布式存儲是較高的選擇。對于大容量的對象存儲的選擇，基本上分布式存儲是不二的選擇。在云計算環(huán)境、虛擬化平臺所用的存儲，如果虛擬機本身沒有承載高IO性能要求的應(yīng)用（如數(shù)據(jù)庫應(yīng)用），那么分布式存儲是較好的選擇，服務(wù)器的擴容和存儲的擴容可以根據(jù)實際存儲的用量同步進行。個人認為，未來隨著分布式技術(shù)的發(fā)展，伴隨著云計算技術(shù)的發(fā)展，分布式存儲也將逐步在一段時間內(nèi)成為主流。
2、FC與IP之爭
FC（Fiber Channel）一度因其穩(wěn)定和低延遲的特性在金融行業(yè)占有絕對優(yōu)勢。近年來隨著10G網(wǎng)絡(luò)和25G網(wǎng)絡(luò)的成熟，以及分布式存儲技術(shù)的逐漸成熟，IP存儲網(wǎng)絡(luò)得到快速發(fā)展，很多人認為基于IP的存儲網(wǎng)絡(luò)將替代FC網(wǎng)絡(luò)。但也有很多人認為IP網(wǎng)絡(luò)無法替代FC網(wǎng)絡(luò)。個人觀點是，F(xiàn)C網(wǎng)絡(luò)和IP網(wǎng)絡(luò)在很長一段時期內(nèi)將共存，各有其優(yōu)勢，從金融行業(yè)的選擇上，F(xiàn)C主要還是用于對穩(wěn)定性和IO時延都要求很高的系統(tǒng)；隨著云計算技術(shù)的廣泛使用，以及RDMA（Remote Direct Memory Access）技術(shù)與融合以太網(wǎng)絡(luò)技術(shù)的結(jié)合，IP網(wǎng)絡(luò)將迎來越來越多的機會，同時，IP網(wǎng)絡(luò)由于其靈活性，將大量使用在金融企業(yè)私有云環(huán)境。后續(xù)的技術(shù)發(fā)展，IP存儲網(wǎng)絡(luò)的份額將逐漸擴大。
3、壕還是理性
金融行業(yè)的IT基礎(chǔ)設(shè)施往往被定義為“不差錢”，其實這只是外界部分人的偏見。實際的產(chǎn)品選擇上，金融企業(yè)在考慮風(fēng)險的前提下，始終在考慮一個指標，那就是性價比。所以一個成熟的金融企業(yè)對存儲的選擇是非常理性的。
例如，為什么近幾年全閃存儲在金融行業(yè)得到廣泛使用。我們都知道全閃存儲的單位容量的價格比較高，但是綜合考慮IO性能、重刪壓縮功能、機房空間、運維成本、故障率等因素，全閃存儲的性價比具有更大的優(yōu)勢。根據(jù)某廠商資料：相同容量下，閃存硬盤介質(zhì)本身能耗是傳統(tǒng)機械硬盤的1/10，而全閃存帶來機柜空間的縮減，能使數(shù)據(jù)中心空調(diào)/風(fēng)冷/能源等的消耗都大幅降低，帶來整體TCO的降低。數(shù)據(jù)中心IT設(shè)備的能耗占到一半以上，而存儲又占到IT設(shè)備的三分之一以上。假如以一個PUE為2的數(shù)據(jù)中心來算的話，如果說整個存儲系統(tǒng)節(jié)省一度電，那么整個數(shù)據(jù)中心就能節(jié)省兩度電。
另一方面，金融行業(yè)根據(jù)應(yīng)用的IO特性不同，選擇的存儲檔次也不同，通常是中低端存儲和高端存儲搭配使用，集中存儲和分布式存儲的混合使用，最終的結(jié)果是通過架構(gòu)的設(shè)計或管理要求，既要保證系統(tǒng)的高可用性和性能要求，又要用最低的成本采購到最適合的存儲設(shè)備。
四、趨勢與選擇
存儲的發(fā)展和幾個基礎(chǔ)的技術(shù)相關(guān)，1、存儲介質(zhì)由傳統(tǒng)磁介質(zhì)轉(zhuǎn)向閃存，機械盤轉(zhuǎn)向固態(tài)盤（SSD）；2、網(wǎng)絡(luò)帶寬的提升；3、存儲通信協(xié)議的發(fā)展。下面我們來詳細說說。
首先，磁介質(zhì)由機械盤轉(zhuǎn)向SSD，給存儲帶來了巨大的變化。我們知道一臺計算機在進行運算時，讀取數(shù)據(jù)最快的是CPU上的緩存，其次是內(nèi)存，最慢的是外部存儲。在傳統(tǒng)磁介質(zhì)時代，CPU大量的時間都消耗在等待IO，隨著SSD的快速發(fā)展，數(shù)據(jù)訪問SSD比磁盤快100倍左右，吞吐量大100倍，單盤的IOPS大1000倍以上，這些變化，促使了計算機系統(tǒng)處理能力的大幅提升。
其次，網(wǎng)絡(luò)帶寬的提升，為存儲IP網(wǎng)絡(luò)帶來了生機，也為分布式技術(shù)的發(fā)展帶來了活力。目前10Gb網(wǎng)絡(luò)已廣泛使用，25Gb網(wǎng)絡(luò)也在很多數(shù)據(jù)中心投入使用，未來40Gb、100Gb網(wǎng)絡(luò)也將逐步廣泛使用。高速網(wǎng)絡(luò)帶寬的最大受益者就是分布式計算，由于有了高速帶寬，節(jié)點間的數(shù)據(jù)交互變得相對容易。
再次，存儲通信協(xié)議的發(fā)展，把存儲介質(zhì)變化的效率和網(wǎng)絡(luò)帶寬提升的作用充分發(fā)揮出來了。在磁介質(zhì)時代，數(shù)據(jù)傳輸通常使用SCSI（Small Computer System Interface）或SATA（Serial Advanced Technology Attachment）協(xié)議，這些協(xié)議在處理磁盤IO時有其合理性，但是當SSD盤出現(xiàn)后，SCSI或SATA協(xié)議，SSD盤的性能和吞吐能力無法充分發(fā)揮。此時NVMe協(xié)議應(yīng)運而生。NVMe全稱是NonVolatile Memory Express（非易失性內(nèi)存標準），是一種新的存儲通信協(xié)議。NVMe利用了計算機或服務(wù)器中的PCIe高速總線，將其直接連接到計算機，從而減少了CPU的開銷，簡化了操作，降低了延遲，提高了IOPS和吞吐量。在NVMe協(xié)議中，其最大隊列數(shù)量為65535，每個隊列的深度可以高達65535。而SCSI協(xié)議只有1個隊列，每個隊列的深度只有254。這對于降低時延，提高服務(wù)器處理并發(fā)請求的能力至關(guān)重要。另外，前面講的RDMA協(xié)議，在處理主機通信時，IO處理下沉到網(wǎng)卡，減少對CPU的消耗，大幅降低了IO時延。
由于SSD的大量使用、網(wǎng)絡(luò)帶寬的大幅提升以及NVMe、RDMA協(xié)議的成熟，存儲發(fā)展出現(xiàn)了兩種新的趨勢。
趨勢一是服務(wù)器本地盤在大量場景下替代了存儲。這需要滿足3個基本條件：一、應(yīng)用無需共享存儲，通過應(yīng)用層面可保障高可用；二、本地盤的性能可滿足應(yīng)用要求；三、本地盤的存儲容量可滿足應(yīng)用要求。在服務(wù)器內(nèi)部，NVMe協(xié)議已成熟，服務(wù)器使用本地SSD及NVMe協(xié)議可大幅提升性能，因此在性能上可滿足大部分的應(yīng)用要求；SSD的單盤容量都在數(shù)TB，所以單臺服務(wù)器的存儲容量可配置數(shù)十TB，可滿足大部分應(yīng)用要求。因此只要應(yīng)用本身的機制可保障高可用，本地存儲解決方案將成為最簡潔的解決方案。
趨勢二是端到端NVMe協(xié)議的使用，真正實現(xiàn)計算資源對存儲的高性能要求。不管是SAN網(wǎng)絡(luò)還是IP網(wǎng)絡(luò)，傳輸環(huán)節(jié)對NVMe協(xié)議的支持是趨勢，NVMe-oF（NVMe over Fabric）目前有兩類解決方案，一類是基于傳統(tǒng)FC方式，另一類是基于RoCE（RDMA over Converged Ethernet），這兩類解決方案都有實際案例，性價比和穩(wěn)定性決定了未來哪一種方案將占據(jù)主流。端到端的NVMe協(xié)議的使用，已成為高端全閃存儲的標配，既能夠釋放閃存介質(zhì)的性能潛力，也能實現(xiàn)建設(shè)更標準通用的數(shù)據(jù)中心網(wǎng)絡(luò)。隨著成本的進一步下降，NVMe+SSD的組合也必將在中低端存儲中使用。
對金融企業(yè)來說，面臨眼花繚亂的存儲產(chǎn)品和解決方案，未來如何選擇？這里筆者給出幾點建議：
第一，存儲的高安全性是第一位的。也就是說，數(shù)據(jù)不能丟失，這是存儲設(shè)備選擇的前提。
第二，針對不同應(yīng)用類型進行存儲選擇。對于OLTP數(shù)據(jù)庫應(yīng)用，本地NVMe SSD盤或高端NVMe全閃存儲是合適的選擇，而OLAP數(shù)據(jù)庫應(yīng)用，由于容量的原因更需要端到端的NVMe全閃存儲；對于云環(huán)境下虛擬化和基于容器的應(yīng)用，分布式塊存儲或帶有重刪壓縮功能的中高端NVMe全閃存儲有更加明顯的性價比優(yōu)勢；對于非結(jié)構(gòu)化數(shù)據(jù)和歸檔數(shù)據(jù)的對象存儲的選擇，可以選擇大容量的SATA機械盤存儲。
第三，存儲方式的選擇。分布式存儲和集中式存儲在一段時間內(nèi)將并存，金融企業(yè)可選擇在私有云環(huán)境下使用分布式存儲，但分布式存儲一定要和云平臺充分集成；如果沒有海量數(shù)據(jù)需求，建議盡量采用集中存儲，減少運維復(fù)雜度。對象存儲可采用分布式存儲。
第四，存儲網(wǎng)絡(luò)的選擇。FC網(wǎng)絡(luò)聚焦追求極端穩(wěn)定與低延時的系統(tǒng)，新的數(shù)據(jù)中心沒有必要構(gòu)建大型的SAN網(wǎng)絡(luò)。隨著云計算技術(shù)在企業(yè)自有數(shù)據(jù)中心的廣泛使用，IP存儲網(wǎng)絡(luò)的使用將越來越廣泛，尤其是云原生應(yīng)用、微服務(wù)應(yīng)用的推廣后，對彈性和自動化要求越來越高，IP存儲網(wǎng)絡(luò)的靈活性將發(fā)揮更加明顯的優(yōu)勢。
面對紛繁復(fù)雜的存儲形態(tài)和存儲產(chǎn)品，金融企業(yè)一定要立足企業(yè)自身應(yīng)用架構(gòu)、技術(shù)架構(gòu)的現(xiàn)狀，結(jié)合未來IT基礎(chǔ)設(shè)施發(fā)展的方向，綜合考慮和選擇。
五、總結(jié)
金融行業(yè)的應(yīng)用特性，決定了其對存儲的要求，存儲設(shè)備和解決方案的選擇也需遵從這些要求。存儲技術(shù)的發(fā)展方向是在降低單位存儲容量的價格的同時，追求更高的并發(fā)、更高的吞吐量以及更低的IO響應(yīng)時延。隨著SSD的成本快速下降，全閃存儲已成為金融行業(yè)首選的存儲，端到端NVMe全閃存儲在高端存儲上已大量使用，后續(xù)這些技術(shù)也將應(yīng)用到中端存儲上，相信金融行業(yè)的全閃存數(shù)據(jù)中心建設(shè)會越來越被同行接受?；贔C和RoCE的NVMe存儲傳輸網(wǎng)絡(luò)將在一定時期內(nèi)并存，性價比和穩(wěn)定性決定哪類方案將最終勝出。面對眼花繚亂的存儲技術(shù)和產(chǎn)品，金融IT從業(yè)人員需要結(jié)合自身情況和對技術(shù)特性的深入了解，才能做出合適的選擇。
