本文來自微信公眾號“twt企業(yè)IT社區(qū)”。
【欄目主編】趙海某金融系統(tǒng)高級主管:本議題由寧夏銀行技術(shù)經(jīng)理陳明福、某省農(nóng)信資深技術(shù)經(jīng)理雷智以及我本人發(fā)表議題下的主張,幾位專家的主張在江西農(nóng)信技術(shù)經(jīng)理鄧毓、某金融科技公司資深集成工程師孫偉光、某金融公司架構(gòu)師劉艷春等多位專家的復議后,形成了一定的共識,希望可以對同行有一定的參考。
陳明福寧夏銀行技術(shù)經(jīng)理:
對于銀行業(yè)來說,關(guān)鍵應(yīng)用系統(tǒng)安全穩(wěn)定可靠是第一要務(wù),設(shè)備選型應(yīng)該遵循“行業(yè)主流、安全穩(wěn)定”的原則,同時兼顧性能(主要包含IOPS、MBPS及延時等指標)與成本,并充分考慮國家信息技術(shù)應(yīng)用創(chuàng)新戰(zhàn)略。
一、關(guān)鍵應(yīng)用存儲需求特點
隨著金融業(yè)信息化程度的不斷提高與完善,信息系統(tǒng)在金融行業(yè)的關(guān)鍵業(yè)務(wù)中承擔的角色越來越重要,保證業(yè)務(wù)連續(xù)性是信息系統(tǒng)建設(shè)的關(guān)鍵,業(yè)務(wù)系統(tǒng)的連續(xù)性和災(zāi)難保護的重要性也越來越突出。在當前數(shù)字化浪潮下,關(guān)鍵應(yīng)用系統(tǒng)是銀行業(yè)穩(wěn)健經(jīng)營發(fā)展的核心支撐,如何有效確保關(guān)鍵應(yīng)用系統(tǒng)安全穩(wěn)定運行且數(shù)據(jù)零丟失,是每一名銀行科技人員最關(guān)注的事情,存儲設(shè)備作為數(shù)據(jù)中心內(nèi)最關(guān)鍵、最核心的硬件資源,承載了所有重要業(yè)務(wù)數(shù)據(jù),其重要性不言而喻。
對于銀行業(yè)來說,關(guān)鍵應(yīng)用系統(tǒng)安全穩(wěn)定可靠是第一要務(wù),業(yè)務(wù)不能斷,數(shù)據(jù)不能丟,必須提供7×24小時連續(xù)業(yè)務(wù);隨著互聯(lián)網(wǎng)金融的發(fā)展,在線交易快速增長,要求聯(lián)機業(yè)務(wù)系統(tǒng)支持海量用戶高并發(fā)訪問,性能要求高,時延極致低;監(jiān)管政策日漸趨嚴,針對各類事件的處罰日趨嚴格。
二、關(guān)鍵應(yīng)用存儲設(shè)備選型建議
設(shè)備選型應(yīng)該遵循“行業(yè)主流、安全穩(wěn)定”的原則,同時兼顧性能(主要包含IOPS、MBPS及延時等指標)與成本,并充分考慮國家信息技術(shù)應(yīng)用創(chuàng)新戰(zhàn)略。對于金融行業(yè)來說,為確保安全可靠以及數(shù)據(jù)一致性等條件約束,建議按場景(如數(shù)據(jù)庫和應(yīng)用)分別對存儲進行使用,建議不混合使用。銀行業(yè)存儲設(shè)備選型的關(guān)鍵點在于存儲需要具備以下幾個特點:
1.行業(yè)主流
所選擇的存儲設(shè)備品牌及型號需要在業(yè)界(尤其是同行業(yè))有廣泛的成功應(yīng)用案例,經(jīng)得起同行業(yè)的考驗,以及需要有穩(wěn)定的服務(wù)團隊。
2.安全穩(wěn)定
存儲架構(gòu)的穩(wěn)定性及可靠性是數(shù)據(jù)中心存儲選型最基本也是最重要的需求,包含存儲架構(gòu)冗余度較高,各個部件(如:控制器、磁盤、前端接口卡、后端接口卡、網(wǎng)卡及電源等)均為冗余設(shè)計、支持在線熱插拔,任意部件損壞均不影響主機上業(yè)務(wù)運行,硬件維護對上層主機訪問無感知。其次,各部件可以進行微碼在線升級,對主機訪問無影響。特別是關(guān)鍵部位控制器,已有最新存儲產(chǎn)品可以支持控制器升級微碼不重啟。
3.可維護性
存儲設(shè)備需具備較高的可維護性,各個部件的預防性維護和更換均為在線操作,控制器、硬盤及接口卡等部件都必須支持在線微碼升級,交替重啟部件或更換部件時不可以影響到上層業(yè)務(wù)。
4.硬件架構(gòu)
當前存儲設(shè)備產(chǎn)品根據(jù)架構(gòu)分為“集中式架構(gòu)存儲”和“分布式架構(gòu)存儲”兩大陣營。集中式存儲最大的優(yōu)勢在于架構(gòu)簡單、維護相對容易,已有的運維經(jīng)驗?zāi)軌蜓永m(xù),同時傳統(tǒng)存儲廠商支持能力相對較強。而分布式存儲在非一線城市中廠商技術(shù)支持方面還存在短板。因此,對于銀行信息系統(tǒng)中大多數(shù)關(guān)鍵應(yīng)用,包括核心系統(tǒng)、前置系統(tǒng)、支付系統(tǒng)、銀行卡系統(tǒng)等應(yīng)用,具有高穩(wěn)定性、高吞吐量和低時延等特性的集中式架構(gòu)存儲是更好的選擇,存儲設(shè)備的各個控制器工作在對稱Active/Active模式,各控制器性能負載穩(wěn)定均衡;若上層應(yīng)用有特定的分布式文件存儲、對象存儲或者海量數(shù)據(jù)存儲需不斷擴展的需求,同時對存儲穩(wěn)定性和時延要求不高,則可以考慮選擇分布式架構(gòu)存儲。
5.可擴展能力
可以按需在線進行橫向擴展,同時擴展存儲容量和存儲性能,隨著容量需求的增加可以按需進行在線擴容,包括存儲柜內(nèi)的縱向擴容和多柜的橫向擴展,擴展之后實現(xiàn)存儲資源的在線自動平衡。當前行業(yè)內(nèi)主流高端存儲設(shè)備基本配置為“四控制器”,Cache容量高達TB甚至更高,前端主機接口模塊FC口速率高達到32GB。閃存盤因“大容量、高IOPS、低耗時和低返廠率”等特點已成為當前集中式高端存儲設(shè)備的首選主流配置。對于預算充裕的用戶,可以選擇配置NVMeSSD盤,充分保障設(shè)備性能滿足業(yè)務(wù)需求。
6.性能指標
在存儲設(shè)備購買時,一定要充分結(jié)合業(yè)務(wù)系統(tǒng)運行情況,并充分預測未來5-10年業(yè)務(wù)發(fā)展趨勢,推算出存儲設(shè)備性能指標,至少保證未來5年內(nèi)業(yè)務(wù)系統(tǒng)不會出現(xiàn)存儲性能瓶頸。隨著閃存技術(shù)的快速發(fā)展,目前全閃存存儲已經(jīng)成為各家主流存儲廠商的標準配置,同時結(jié)合控制器和硬盤框的NVMe技術(shù)應(yīng)用,IOPS已經(jīng)從傳統(tǒng)機械硬盤存儲的幾萬、十幾萬,上升到幾百萬級別,性能得到極大提升,因此在當前形勢之下采購新存儲設(shè)備時,全閃存存儲已成為首選,如果成本可以承受,配備NVMe SSD的全閃存存儲是最佳選擇。
7.成本評估
對于銀行業(yè)來說,高端存儲設(shè)備選型一個重要的參考就是單位TB可用容量下的成本,能夠花更少的錢買到更多的容量,一定是我們采購過程中的一個重要指標,這就對存儲設(shè)備的架構(gòu)能力和存儲廠商的商業(yè)模式提出了一定的要求,最終的選擇需要根據(jù)實際情況去做抉擇。計算成本時除了硬件配置成本,還需要考慮軟件許可成本和日常管理維護成本(包含存儲設(shè)備維保服務(wù)成本)。
8.國家信息技術(shù)應(yīng)用創(chuàng)新戰(zhàn)略
當前,國家提出“信息技術(shù)應(yīng)用創(chuàng)新”戰(zhàn)略,其中存儲設(shè)備隸屬于“信創(chuàng)基礎(chǔ)設(shè)施產(chǎn)品”范疇,監(jiān)管部門也出臺相應(yīng)政策,對于銀行業(yè)來說,在滿足安全穩(wěn)定可靠及性能前提下,應(yīng)該充分響應(yīng)國家“信息技術(shù)應(yīng)用創(chuàng)新”戰(zhàn)略。隨著國內(nèi)廠商技術(shù)的不斷演進,目前國內(nèi)存儲品牌(如:華為)已經(jīng)得到業(yè)界公認和實踐,能夠滿足數(shù)據(jù)中心建設(shè)各項指標需求。因此,在國家提倡科技創(chuàng)新和金融行業(yè)IT國產(chǎn)化戰(zhàn)略的背景下,在存儲產(chǎn)品各項功能均滿足的前提下,可以優(yōu)先考慮已經(jīng)經(jīng)過行業(yè)考驗的國內(nèi)存儲品牌。
9.廠商技術(shù)支持服務(wù)能力
重點考察設(shè)備廠商存儲產(chǎn)品持續(xù)研發(fā)能力和本地技術(shù)服務(wù)能力,在遇到個性化需求時或需求變化時能夠及時響應(yīng)處理的能力,是否有本地化的技術(shù)支持服務(wù)力量,對客戶的響應(yīng)是否及時且有效,這些都需要充分考查和了解。
三、存儲關(guān)鍵技術(shù)架構(gòu)建議
對于銀行業(yè)來說,兩地三中心或多地多中心是當前監(jiān)管部門強制要求必不可少的數(shù)據(jù)中心建設(shè)模式,在完善的容災(zāi)體系架構(gòu)場景下,基于存儲復制技術(shù)的容災(zāi)架構(gòu)依然是各銀行業(yè)傾向選擇的一種數(shù)據(jù)保護措施,故在銀行業(yè)實施存儲時,需要充分考慮存儲設(shè)備的本地高可用及多中心間容災(zāi)架構(gòu)能力。
1)免網(wǎng)關(guān)雙活A-A架構(gòu),即不依賴于VPLEX、SVC等存儲網(wǎng)關(guān)設(shè)備,而直接使用存儲自身的機頭進行兩臺存儲之間的IO雙活。如:華為公司的HyperMetro就屬于免網(wǎng)關(guān)解決方案的主流技術(shù)之一。
2)數(shù)據(jù)同步和異步復制功能,可以與雙活特性實現(xiàn)免網(wǎng)關(guān)的雙活+異地容災(zāi)的三副本數(shù)據(jù)容災(zāi)架構(gòu)。
3)快照功能。
上述三方面是實施存儲時重點關(guān)注的技術(shù)架構(gòu)特性。
四、總結(jié)
本文結(jié)合銀行關(guān)鍵應(yīng)用系統(tǒng)存儲設(shè)備實施情況,分析存儲設(shè)備選型及關(guān)鍵技術(shù)實施過程中需要關(guān)注的要點,希望給同行在關(guān)鍵應(yīng)用系統(tǒng)存儲設(shè)備集成實施時提供一種參考。
雷智某省農(nóng)信資深技術(shù)經(jīng)理:
存儲架構(gòu)升級的關(guān)鍵在于平穩(wěn)投產(chǎn)落地。沒有最好的存儲技術(shù),只有最適合的存儲解決方案。在存儲架構(gòu)方案設(shè)計時,需從行內(nèi)實際情況出發(fā),對標行業(yè)最佳實踐,充分利用廠商資源,保證技術(shù)的延續(xù)性,做好架構(gòu)、產(chǎn)品、性能、維護和費用之間的有效平衡。
關(guān)鍵應(yīng)用系統(tǒng)存儲架構(gòu)設(shè)計階段,應(yīng)重點關(guān)注存儲類型、容量、組網(wǎng)及高可用容災(zāi)等關(guān)鍵點。在投產(chǎn)實施及運維管理階段,需關(guān)注現(xiàn)網(wǎng)調(diào)研、實施窗口、數(shù)據(jù)遷移、回退方案、投產(chǎn)跟蹤和常態(tài)化演練機制、日常運維機制、智能運維工具和健全運維生態(tài)等重點方面。
一、引言
存儲架構(gòu)升級的關(guān)鍵在于平穩(wěn)投產(chǎn)落地。關(guān)鍵應(yīng)用作為企業(yè)IT系統(tǒng)中重要程度最高、涉及范圍最廣、業(yè)務(wù)數(shù)據(jù)最多、場景差異最大的應(yīng)用系統(tǒng)類別,對存儲架構(gòu)的設(shè)計及落地帶來了較大的挑戰(zhàn)。本文將通過闡述銀行業(yè)關(guān)鍵應(yīng)用存儲架構(gòu)的應(yīng)用場景、設(shè)計原則、投產(chǎn)實施及運維管理等重點內(nèi)容,讓讀者對銀行業(yè)關(guān)鍵應(yīng)用存儲的落地實踐情況有所了解。
二、銀行業(yè)關(guān)鍵應(yīng)用對存儲的需求場景及功能特點
一般來說,銀行業(yè)按照應(yīng)用系統(tǒng)重要等級可以分為核心、重要、外圍及管理、數(shù)據(jù)分析等類別,其中核心及重要類系統(tǒng)通常稱為“關(guān)鍵應(yīng)用”。根據(jù)關(guān)鍵應(yīng)用系統(tǒng)處理事物的特性,可以分為OLTP(聯(lián)機事務(wù)處理過程)和OLAP(聯(lián)機分析處理)等類別。聯(lián)機事務(wù)處理方式、數(shù)據(jù)量大小、系統(tǒng)重要程度等差異均會對關(guān)鍵應(yīng)用存儲架構(gòu)提出不同的需求。
三、關(guān)鍵應(yīng)用存儲架構(gòu)的設(shè)計原則及關(guān)鍵點
1.關(guān)鍵應(yīng)用存儲架構(gòu)設(shè)計的原則
存儲架構(gòu)的設(shè)計既要滿足未來業(yè)務(wù)發(fā)展需要和技術(shù)發(fā)展趨勢,也要在總體技術(shù)風險可控的前提下,對現(xiàn)有架構(gòu)進行平滑升級,解決當前架構(gòu)瓶頸。關(guān)鍵應(yīng)用系統(tǒng)所用存儲架構(gòu)的建設(shè)總體原則應(yīng)根據(jù)不同應(yīng)用對存儲性能和容災(zāi)的訴求進行存儲選型。按照應(yīng)用的業(yè)務(wù)重要性及對RPO、RTO不同要求,重新規(guī)劃應(yīng)用主機和存儲對應(yīng)關(guān)系,對應(yīng)不同級別容災(zāi)方案。
需要注意的是,沒有最好的存儲技術(shù),只有最適合的存儲解決方案。因此,在存儲架構(gòu)方案設(shè)計時,需從行內(nèi)實際情況出發(fā),對標行業(yè)最佳實踐,充分利用廠商資源,做好技術(shù)的延續(xù)性、做好架構(gòu)、產(chǎn)品、性能、維護和費用之間的有效平衡。
2.關(guān)鍵應(yīng)用存儲架構(gòu)設(shè)計的關(guān)鍵點
存儲的單機配置決定著存儲架構(gòu)的整體性能。通常在存儲架構(gòu)規(guī)劃時采用“高端低配”(高端機型、中低配置)策略進行存儲選型,在保障技術(shù)先進、性能強大的同時,降低維護期因存儲技術(shù)落后、性能不足而帶來的優(yōu)化和擴容等風險較大操作的頻率,同時高端機型也能夠得到原廠商更大售后服務(wù)支持。所替換的老舊存儲可用于開發(fā)測試或外圍類系統(tǒng)使用,保護既有投資。
1)存儲類型
按照關(guān)鍵應(yīng)用類別及特性選擇集中式或分布式存儲,可根據(jù)關(guān)鍵應(yīng)用重要性、需求特點及性價比選擇全閃、混閃及傳統(tǒng)機械盤存儲。
2)存儲容量
根據(jù)現(xiàn)網(wǎng)存儲容量、歷史增長率以及未來增長率等指標來綜合評估。以存儲池為單位,根據(jù)當前容量大小,將近3年最大年增長率作為未來5年年均增長率進行估算,在此基礎(chǔ)上再預留20%-30%可用容量。
3)存儲及應(yīng)用組網(wǎng)
在滿足技術(shù)先進性的前提下,保障技術(shù)選型穩(wěn)定性和高可用性,確保存儲網(wǎng)絡(luò)架構(gòu)穩(wěn)健、保障業(yè)務(wù)系統(tǒng)性能。在實施過程中以數(shù)據(jù)完整性為核心保障體系,按計劃完成容災(zāi)方案為目標,盡量減少業(yè)務(wù)系統(tǒng)影響,降低對業(yè)務(wù)系統(tǒng)的影響。
根據(jù)設(shè)備情況,從需求、容量、性能、可用性和管理性幾個方面詳細設(shè)計,重點考慮存儲池類別、吞吐負載、關(guān)聯(lián)耦合性,尤其需要提前規(guī)劃交換機端口分配規(guī)則、Zone分配規(guī)則、跨數(shù)據(jù)中心級聯(lián)設(shè)計。
4)高可用及容災(zāi)
存儲架構(gòu)是全行容災(zāi)方案的重要基礎(chǔ)。存儲架構(gòu)方案的設(shè)計需要根據(jù)全行整體容災(zāi)建設(shè)思路,結(jié)合存儲特性和業(yè)務(wù)特點統(tǒng)籌規(guī)劃,以確保滿足監(jiān)管及全行所需RTO及RPO指標。在實際制定存儲規(guī)劃方案中,以下方面需重點關(guān)注:
一是存儲3DC架構(gòu)的建設(shè)思路。存儲3DC架構(gòu)已是各大存儲產(chǎn)品的標準功能架構(gòu),也是各行業(yè)容災(zāi)方案中均采用的成熟存儲容災(zāi)解決方案。但在實際使用中,需根據(jù)各行現(xiàn)網(wǎng)容災(zāi)架構(gòu)、數(shù)據(jù)中心間距離、空間、帶寬質(zhì)量、人員分布等因素綜合考慮。
一般來說,存儲3DC架構(gòu)在物理地點設(shè)置上有兩種方案,一是本地、同城和異地各一臺存儲,三者間形成3DC容災(zāi)架構(gòu)(性價比較高、容災(zāi)整體架構(gòu)較為靈活);二是本地(2臺雙活)和同城(1臺)組成容災(zāi)架構(gòu)(維護難度較小,可以最大程度應(yīng)對本地主中心存儲故障),架構(gòu)圖示例可見圖1。
圖1同城3DC存儲容災(zāi)架構(gòu)圖
二是各數(shù)據(jù)中心承載的容災(zāi)功能的選擇。在金融監(jiān)管部門要求及傳統(tǒng)銀行容災(zāi)方案中,主中心、同城中心及異地中心根據(jù)所承載的容災(zāi)功能情況,可以分為“大同城、小異地”和“小同城、大異地”兩種。以“大同城、小異地”為例,“大同城”指以雙活模式構(gòu)建兩個同城數(shù)據(jù)中心,通過部署必要的軟硬件設(shè)備,逐步實現(xiàn)既能兩個中心共同承擔業(yè)務(wù),又能單個中心獨立承載全部業(yè)務(wù)。“小異地”指建立異地災(zāi)備數(shù)據(jù)中心,在發(fā)生區(qū)域性災(zāi)難時,保障金融機構(gòu)關(guān)鍵業(yè)務(wù)的持續(xù)運營。
三是存儲網(wǎng)絡(luò)組網(wǎng)。優(yōu)化煙囪式架構(gòu),F(xiàn)C-SAN網(wǎng)絡(luò)采用Core-edge架構(gòu),通過分層實現(xiàn)計算、存儲資源池化,更利于向云化演進。存儲池間數(shù)據(jù)互聯(lián)互通,應(yīng)用共享所有存儲資源。SAN及應(yīng)用組網(wǎng)架構(gòu)圖示例可見圖2。
圖2 SAN及應(yīng)用組網(wǎng)架構(gòu)圖
四是高可用及容災(zāi)方案的選擇。容災(zāi)體系規(guī)劃應(yīng)該從業(yè)務(wù)視角為出發(fā)點,以終為始的制定各類業(yè)務(wù)系統(tǒng)RTO和RPO,找準各容災(zāi)技術(shù)定位,通過各容災(zāi)技術(shù)組合做好備份冗余,按照業(yè)務(wù)類別和技術(shù)特性搭好容災(zāi)技術(shù)體系框架,做好容災(zāi)技術(shù)頂層設(shè)計。
四、關(guān)鍵應(yīng)用存儲投產(chǎn)實施及運維管理
1.關(guān)鍵應(yīng)用存儲投產(chǎn)實施的關(guān)鍵點
1)現(xiàn)網(wǎng)調(diào)研
對現(xiàn)網(wǎng)架構(gòu)的服務(wù)器多路徑、存儲兼容性、數(shù)據(jù)量、網(wǎng)絡(luò)帶寬、可用窗口、影響范圍等進行詳細調(diào)研。針對現(xiàn)網(wǎng)應(yīng)用系統(tǒng)及基礎(chǔ)架構(gòu)等差異,科學制定投產(chǎn)的方式、批次等投產(chǎn)實施方案。
2)實施窗口
由于遷移變更內(nèi)容多,操作復雜,關(guān)鍵應(yīng)用磁盤較多、操作時間較長,導致整個操作時間窗口有可能超出正常維護窗口時間??梢酝ㄟ^科學制定Runbook、操作指導書、操作命令、非影響業(yè)務(wù)的情況下提前開展、分階段分批實施等措施,科學規(guī)劃操作時間窗口。
3)數(shù)據(jù)遷移
數(shù)據(jù)遷移是存儲新架構(gòu)投產(chǎn)的關(guān)鍵步驟。在存儲數(shù)據(jù)遷移中需重點關(guān)注數(shù)據(jù)一致性、業(yè)務(wù)完備性和系統(tǒng)兼容性??茖W安排數(shù)據(jù)遷移策略,通過遷移演練等多種措施,盡量減少停機窗口和停機對客戶服務(wù)體驗的影響。
4)回退方案
回退方案作為投產(chǎn)實施方案中的關(guān)鍵環(huán)節(jié),必須確保投產(chǎn)出現(xiàn)風險時,有完善的回退應(yīng)急預案,保障回退期間業(yè)務(wù)不受影響。需提前準備并演練不同投產(chǎn)場景的主要回退步驟,將回退所需時間加入到投產(chǎn)計劃窗口之中。
5)投產(chǎn)跟蹤
主要對整體存儲架構(gòu)及應(yīng)用系統(tǒng)的功能及性能進行跟蹤,驗證投產(chǎn)工作的實際成效。針對發(fā)現(xiàn)的故障及時進行分析,并評估采用基于投產(chǎn)架構(gòu)環(huán)境進行解決、整體回退或部分回退等方案保障生產(chǎn)系統(tǒng)安全穩(wěn)定運營。
2.關(guān)鍵應(yīng)用存儲運維管理的關(guān)鍵點
1)常態(tài)化演練機制
常態(tài)化演練是檢驗災(zāi)備體系可用性、準確性和時效性的關(guān)鍵手段。把應(yīng)急演練納入常態(tài)化軌道,開展經(jīng)常性的、針對性的應(yīng)急演練工作,才能充分保證災(zāi)備機制的有效性,檢驗災(zāi)備流程的可操作性,不斷完善災(zāi)備體系建設(shè),持續(xù)提升災(zāi)備演練的實戰(zhàn)能力。
2)日常運維機制
常態(tài)運維機制一般包括常態(tài)巡檢機制(告警檢查、硬軟件狀態(tài)等)和性能分析機制(歷史性能數(shù)據(jù)分析、容量預測、瓶頸預測及優(yōu)化等)。
3)智能運維工具
一般來說,存儲廠商可以提供存儲產(chǎn)品的監(jiān)控及運維工具,也可使用第三方工具。智能運維工具的使用可以大幅提高運維管理的準確性和效率。如華為DME提供的存儲智能預測分析(硬盤失效預測、容量趨勢預測、性能潮汐分析、性能異常檢測、性能瓶頸分析、設(shè)備健康評估)、報表展現(xiàn)、存儲異構(gòu)管理等功能。
4)健全運維生態(tài)
關(guān)鍵系統(tǒng)存儲作為銀行機構(gòu)的關(guān)鍵設(shè)備,在提升行內(nèi)技術(shù)人員能力的同時,還需建立“原廠+三方”、“一線+后臺”、“交付+研發(fā)”的立體式、全天候的支撐服務(wù)體系。
五、結(jié)束語
本文基于銀行業(yè)關(guān)鍵應(yīng)用系統(tǒng)存儲需求場景,結(jié)合行業(yè)經(jīng)驗,對銀行業(yè)關(guān)鍵系統(tǒng)存儲架構(gòu)設(shè)計原則和關(guān)鍵點、投產(chǎn)實施和運維管理等重點內(nèi)容進行了研究和總結(jié)。介紹銀行業(yè)關(guān)鍵應(yīng)用系統(tǒng)類別和存儲使用場景,分析了關(guān)鍵應(yīng)用系統(tǒng)存儲架構(gòu)設(shè)計的存儲類型、容量、組網(wǎng)及高可用容災(zāi)等關(guān)鍵點,總結(jié)了在投產(chǎn)實施及運維管理中需關(guān)注的現(xiàn)網(wǎng)調(diào)研、實施窗口、數(shù)據(jù)遷移、回退方案、投產(chǎn)跟蹤和常態(tài)化演練機制、日常運維機制、智能運維工具和健全運維生態(tài)等重點方面,希望能讓讀者對銀行業(yè)關(guān)鍵應(yīng)用系統(tǒng)存儲實施落地的行業(yè)經(jīng)驗有所了解和參考。
張鵬某金融科技公司高級技術(shù)主管:
選好產(chǎn)品很重要,存儲的核心能力要符合關(guān)鍵業(yè)務(wù)數(shù)據(jù)應(yīng)用場景。通常關(guān)鍵業(yè)務(wù)數(shù)據(jù)需要高端存儲系統(tǒng)來配合。存儲選得好非常重要,實施規(guī)劃做的好也很重要。
金融行業(yè)的關(guān)鍵應(yīng)用系統(tǒng)多數(shù)是聯(lián)機交易系統(tǒng),數(shù)據(jù)存放于數(shù)據(jù)庫中。數(shù)據(jù)庫按照業(yè)務(wù)通常分為兩類:聯(lián)機事務(wù)處理(OLTP)和聯(lián)機分析處理(OLAP)。其中,OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用,主要是基本、日常的事務(wù)處理,有大量在線用戶進行事務(wù)操作,如證券交易、銀行交易、在線購物網(wǎng)站等;OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用,支持復雜的分析操作,且少量的用戶在線執(zhí)行長時間復雜的統(tǒng)計查詢,側(cè)重決策支持,提供直觀易懂的查詢結(jié)果給決策人員,以便準確掌握企業(yè)的經(jīng)營狀況,從而制定正確的方案。
OLTP應(yīng)用的主要負載特征是小數(shù)據(jù)塊的隨機讀寫,需要存儲系統(tǒng)提供高IOPS低時延的性能支持,以保證大量在線用戶事務(wù)操作的及時響應(yīng)。從數(shù)據(jù)庫角度看,每個事務(wù)的讀、寫、更涉及的數(shù)據(jù)量非常小。數(shù)據(jù)庫的數(shù)據(jù)必須是當前的,所以對數(shù)據(jù)庫的可用性要求很高。多用戶并發(fā)連接數(shù)據(jù)庫,訪問數(shù)據(jù)庫,要求數(shù)據(jù)庫有很快的響應(yīng)時間,通常一個事務(wù)在幾秒內(nèi)完成。從存儲角度看,每個I/O非常小,通常為2KB~8KB,訪問硬盤數(shù)據(jù)的位置非常隨機,通常至少30%的數(shù)據(jù)是隨機寫操作,重做日志寫入非常頻繁。
如何提升OLTP業(yè)務(wù)性能,在存儲選擇的過程中尤為重要
選好產(chǎn)品很重要,存儲的核心能力要符合關(guān)鍵業(yè)務(wù)數(shù)據(jù)應(yīng)用場景。通常關(guān)鍵業(yè)務(wù)數(shù)據(jù)需要高端存儲系統(tǒng)來配合。高端存儲系統(tǒng)必須具有以下主要特點:安全可靠,穩(wěn)定運行,核心業(yè)務(wù)永不中斷,高擴展能力等等。這些特點來源于高端存儲有別于中低端存儲的設(shè)計和配置。
存儲控制器的架構(gòu)設(shè)計,是存儲的核心,各高端存儲廠商都有獨門絕技,例如早期國外廠商的全光纖交換式和點對點直連相混合的統(tǒng)一星型網(wǎng)絡(luò)體系架構(gòu),交換式體系結(jié)構(gòu)又稱CrossBar結(jié)構(gòu),是一種高帶寬、大吞吐率和無阻塞的體系結(jié)構(gòu)。又比如有些廠商采用直連矩陣結(jié)構(gòu),虛擬矩陣結(jié)構(gòu),或無阻塞交換矩陣結(jié)構(gòu),都有別于中低端存儲的雙控制器共享總線結(jié)構(gòu),這些結(jié)構(gòu)的設(shè)計都是為了實現(xiàn)CPU、內(nèi)存、驅(qū)動器和服務(wù)器端口在各個控制器之間的共享,提供低延遲的穩(wěn)定訪問。當前有些廠商采用的分布式多控制器多集群的結(jié)構(gòu)還可以提高高可用性以及靈活和強大的擴展能力。值得自豪的是國內(nèi)高端存儲廠商目前應(yīng)對高安全,高穩(wěn)定需求的核心應(yīng)用,也推出高端存儲系統(tǒng),例如采用創(chuàng)新的SmartMatrix智能矩陣架構(gòu),該架構(gòu)具備全交換、全虛擬化、全冗余、固有負載均衡等特點,結(jié)合端到端數(shù)據(jù)完整性(End-to-endData Integrity)、內(nèi)存ECC(Error Checking andCorrecting)和傳輸通道CRC(Cyclic RedundancyCheck)等技術(shù),提供存儲系統(tǒng)性能線性增長、最大的擴展性、7×24小時高可用性以及高系統(tǒng)安全性,能全面滿足大中型數(shù)據(jù)中心關(guān)鍵業(yè)務(wù)的需求。
緩存Cache是存儲系統(tǒng)的核心部件。存儲系統(tǒng)中數(shù)據(jù)最終是存放在若干個磁盤中。不管是機械磁盤還是固態(tài)磁盤,其讀寫速度遠低于CPU速度。因此對于存儲系統(tǒng)來說,一邊是服務(wù)器/主機高速請求,另一邊是磁盤低速讀寫,因此必須通過相應(yīng)部件和技術(shù)來調(diào)和這個高低矛盾。這就需要高速緩存(Cache)和緩存管理技術(shù)。緩存的設(shè)計各個廠商差別也比較大,有的廠商是數(shù)據(jù)和控制分離的結(jié)構(gòu),通過數(shù)據(jù)緩存交換式結(jié)構(gòu),提供持續(xù)的高帶寬和大吞吐率,通過控制緩存點對點直連結(jié)構(gòu),提供多通道和高并發(fā)能力。有的廠商是數(shù)據(jù)和控制混合緩存,每塊緩存卡上分配一定地址范圍作為該緩存卡的控制信息或索引,其他地址作為數(shù)據(jù)信息的存儲,這種無集中控制緩存機制的設(shè)計就是分布式緩存架構(gòu)。不管何種設(shè)計架構(gòu),最終使用者應(yīng)該關(guān)注的是并發(fā)訪問的能力,高速緩存是影響高端存儲的關(guān)鍵部件,高速緩存的并發(fā)訪問可以成倍地提高存儲系統(tǒng)的綜合性能,并發(fā)訪問能力沒有提高上去,后端的磁盤通路再多,磁盤I/O能力再高也無濟于事。緩存畢竟可配置的容量有限,除去用于其他功能的容量開銷,真正用于讀寫緩存的空間有限且珍貴,那么好的交換算法,智能的調(diào)度算法,可以更加高效的利用緩存空間同時調(diào)節(jié)讀寫緩存的比例,讓緩存空間能夠發(fā)揮更高效能,這也是高端存儲適應(yīng)核心關(guān)鍵業(yè)務(wù)場景必備的能力。另外需要關(guān)注的,高端存儲必備的緩存數(shù)據(jù)保護措施,通常寫緩存會提供鏡像保護,掉電電池保護等,確保未提交數(shù)據(jù)的安全。
RAID技術(shù),即獨立磁盤冗余陣列,是把相同的數(shù)據(jù)存儲在多個硬盤的不同地方的方法?;驹聿辉谶@里贅述,主要談?wù)勗谶M行RAID級別(以磁盤組成RAID組,不考慮熱備盤的情況舉例)選擇時,應(yīng)該考慮可靠性,讀寫性能,磁盤利用率等幾個方面。RAID0不提供數(shù)據(jù)冗余,損壞的數(shù)據(jù)將無法得到恢復,即使讀寫性能和磁盤利用率都非常高,但不適用于關(guān)鍵數(shù)據(jù)業(yè)務(wù)的場景。RAID1,數(shù)據(jù)全冗余,最多可以容許N-1個硬盤同時損壞(N個硬盤組成的RAID1陣列),讀性能較高,寫性能較低,磁盤利用率比較低(約為25%或50%),由于磁盤數(shù)量局限性比較高,通常只應(yīng)用于系統(tǒng)磁盤的數(shù)據(jù)存儲。RAID3,數(shù)據(jù)冗余度較高,任意一塊磁盤(以磁盤舉例)數(shù)據(jù)故障都可以通過校驗進行恢復,如果出現(xiàn)兩個及以上磁盤故障,則整個RAID級別故障,讀性能高,寫性能低,磁盤利用率較高(約為80%左右),適合于查詢類多的業(yè)務(wù)場景,例如存儲視頻影像數(shù)據(jù)。RAID5,數(shù)據(jù)冗余度較高,校驗數(shù)據(jù)分布在每一個磁盤上,允許任意一個磁盤故障,如果出現(xiàn)兩個及以上磁盤故障,則整個RAID級別故障。讀性能較高,寫性能較高,磁盤利用率較高(約為80%左右),適用于一些關(guān)鍵數(shù)據(jù)業(yè)務(wù)場景,但配置時需要注意RAID組的磁盤數(shù)不要過大,避免故障發(fā)生帶來的寫懲罰問題。RAID6,數(shù)據(jù)冗余度較高,兩組校驗數(shù)據(jù)分散在不同的磁盤上,允許任意兩個磁盤故障,如果出現(xiàn)三個及以上磁盤故障,則整個RAID級別故障,這種故障概率就低很多,讀性能中等,寫性能也中等,磁盤利用率隨著磁盤數(shù)量增加而增加,最大磁盤利用率約88%。SSD磁盤的大量應(yīng)用,機械磁盤性能的問題得到緩解,在關(guān)鍵數(shù)據(jù)存儲場景下,SSD磁盤采用RAID6保護方式越來越多。RAID10,數(shù)據(jù)冗余度高,最多可以容許N個硬盤同時損壞(2N個硬盤組成的RAID 10陣列),讀和寫的性能較高,磁盤利用率為50%,可應(yīng)用于關(guān)鍵數(shù)據(jù)業(yè)務(wù)場景,成本略高。當前,一些存儲廠商還推出更高級別的RAID級別,例如采用一些動態(tài)RAID技術(shù),基于虛擬數(shù)據(jù)塊的RAID技術(shù),增加校驗數(shù)量,提高冗余能力和磁盤空間利用率,縮短硬盤故障后的重構(gòu)時間,可根據(jù)業(yè)務(wù)場景的需要來選擇,通常需要注意的是冗余能力,磁盤空間利用率與性能是成反比的,根據(jù)業(yè)務(wù)特性找到折中平衡點是關(guān)鍵。在選擇RAID時綜合可靠性、性能、利用率、成本等方面考慮,建議分層分級進行數(shù)據(jù)存儲策略定制,例如對于核心業(yè)務(wù)(如運營商的計費等系統(tǒng)或金融A類在線交易系統(tǒng)等),性能層RAID策略配置為RAID10,RAID5或更高冗余能力的RAID,如果是SSD盤可用RAID6(8D+2P)。對于非核心業(yè)務(wù),性能層RAID策略配置為RAID5(8D+1P)。容量層的RAID策略推薦配置為RAID6。
存儲系統(tǒng)的微碼需要簡化、高效、執(zhí)行速度快、周而復始地完成服務(wù)器/主機對數(shù)據(jù)的訪問請求,同時關(guān)鍵業(yè)務(wù)系統(tǒng)有業(yè)務(wù)連續(xù)性的要求,存儲軟件功能(例如數(shù)據(jù)本地復制克隆快照、遠程數(shù)據(jù)復制,存儲雙活,服務(wù)器多路徑等)都是在存儲選型里必需考慮的內(nèi)容。
存儲連接技術(shù)對存儲的性能也起著關(guān)鍵作用
小型計算機系統(tǒng)接口SCSI是一種用于計算機及其周邊設(shè)備之間(硬盤、軟驅(qū)、光驅(qū)、打印機、掃描儀等)系統(tǒng)級接口的獨立處理器標準。SCSI標準定義命令、通信協(xié)議以及實體的電氣特性(換成OSI的說法,就是占據(jù)物理層、鏈接層、套接層、應(yīng)用層),最大部分的應(yīng)用是在存儲設(shè)備上(例如硬盤、磁帶機),除外,SCSI可以連接的設(shè)備包括有掃描儀、光學設(shè)備(像CD、DVD)、打印機等等。截止到2003年的SCSI標準是Ultra 640 SCSI,其最大同步傳輸速度達到640MB/s,這種接口是一種便于系統(tǒng)集成、降低成本和提高效率的接口標準,主要用于早期的中高端服務(wù)器與工作站上。
SAS(Serial Attached SCSI,串列SCSI)是由并行SCSI物理存儲接口演化而來,是由ANSIINCITS T10技術(shù)委員會開發(fā)的新的存儲接口標準。與并行方式相比,串列方式提供更快速的通信傳輸速度以及更簡易的配置。在企業(yè)級存儲領(lǐng)域早已取代了老邁的SCSI。雖然SCSI是一個具有很多特性的并行總線技術(shù),但SAS是一種串行互連架構(gòu),可以讓企業(yè)用戶以更為靈活的方式進行擴展和管理他們的存儲系統(tǒng)。SAS則具有更高的性能,當今SAS-4已經(jīng)可以支持22.5Gbps速率。
光纖通道FC,也稱為光纖信道和是一種高速網(wǎng)絡(luò)互聯(lián)技術(shù)(最高速度128Gbps),主要用于將計算機數(shù)據(jù)存儲連接到服務(wù)器。光纖通道由信息技術(shù)標準國際委員會(INCITS)的T11技術(shù)委員會標準化。INCITS受美國國家標準學會(ANSI)官方認可。光纖通道FC和SCSI接口一樣最初也不是為硬盤設(shè)計開發(fā)的接口技術(shù),是專門為網(wǎng)絡(luò)系統(tǒng)設(shè)計的,但隨著存儲系統(tǒng)對速度的需求,才逐漸應(yīng)用到硬盤系統(tǒng)中。光纖通道硬盤是為提高多硬盤存儲系統(tǒng)的速度和靈活性才開發(fā)的,它的出現(xiàn)大大提高了多硬盤系統(tǒng)的通信速度。光纖通道的主要特性有:熱插拔性、高速帶寬、遠程連接、連接設(shè)備數(shù)量大等。光纖通道是為在像服務(wù)器這樣的多硬盤系統(tǒng)環(huán)境而設(shè)計,能滿足高端工作站、服務(wù)器、海量存儲子網(wǎng)絡(luò)、外設(shè)間通過集線器、交換機和點對點連接進行雙向、串行數(shù)據(jù)通訊等系統(tǒng)對高數(shù)據(jù)傳輸率的要求。光纖通道早已經(jīng)成為企業(yè)級存儲SAN中的一種常見連接類型。
iSCSI,Internet小型計算機系統(tǒng)接口,又稱為IP-SAN,是一種基于因特網(wǎng)及SCSI-3協(xié)議下的存儲技術(shù),由IETF提出,并于2003年2月11日成為正式的標準。iSCSI利用了TCP/IP的port 860和3260作為溝通的渠道。透過兩部計算機之間利用iSCSI的協(xié)議來交換SCSI命令,讓計算機可以透過高速的局域網(wǎng)集線來把SAN模擬成為本地的儲存裝置。iSCSI常常被認為是光纖通道FC的一個低成本替代方法,使用它來連接服務(wù)器計算機和磁盤卷上存儲陣列。
NVMe非易失性內(nèi)存標準;相比于傳統(tǒng)的SATA和SAS總線技術(shù),NVMe SSD利用了服務(wù)器中的PCIe高速總線,將其直接連接到計算機,從而減少了CPU的開銷,簡化了操作,降低了延遲,提高了IOPS和吞吐量。隊列深度是NVMe相對于SATA和SAS的另一個優(yōu)勢,SATA和SAS只能是單個隊列,而且每個隊列的深度也比較低,而NVMe協(xié)議設(shè)計之初就考慮了該問題,它的最大隊列數(shù)量可以是65K,而且每個隊列的深度可以高達65K。除了減少延遲外,這對于提高服務(wù)器處理并發(fā)請求的能力至關(guān)重要。
RoCE是一種允許通過以太網(wǎng)使用遠程直接內(nèi)存訪問(RDMA)的網(wǎng)絡(luò)協(xié)議。在全閃存存儲的SAN網(wǎng)絡(luò)中使用10GE/25GE的交換機通信,將大幅降低網(wǎng)絡(luò)時延,提升整體性能。
NVMe over Fabrics(簡稱NVMe-OF)將NVMe應(yīng)用到前端,作為存儲陣列與前端服務(wù)器連接的通道,取代過去的FC、iSCSI。由此,服務(wù)器可以使用本機NVMe協(xié)議直接與NVMe SSD通信,從而大幅降低了延遲。對于NVMe-oF,傳輸類型有3種選擇,分別是使用光纖通道、TCP和RDMA的NVMe-oF。采用RDMA作為傳輸類型的NVMe over RoCE對網(wǎng)絡(luò)要求較高,要求交換機能夠支持無損以太網(wǎng),支持PFC死鎖檢測和抑制/隔離等。
存儲選的好非常重要,實施規(guī)劃做的好也很重要
存儲的實施需要從存儲本身及存儲組網(wǎng)環(huán)境幾個方面來設(shè)計。
存儲側(cè)的配置主要包含容量、存儲池、文件系統(tǒng)以及網(wǎng)絡(luò)的規(guī)劃。使用存儲之前,建議首先分析清楚業(yè)務(wù)性能和容量需求,做好存儲系統(tǒng)的硬盤數(shù)規(guī)劃,降低運維風險。
存儲系統(tǒng)用于存儲業(yè)務(wù)數(shù)據(jù)和系統(tǒng)數(shù)據(jù),為了保證有足夠的容量用于存儲業(yè)務(wù)數(shù)據(jù),需要對存儲系統(tǒng)的可用容量進行合理規(guī)劃。規(guī)劃可用容量時,需要考慮單盤標稱容量、熱備容量、RAID利用率等因素。硬盤廠商和操作系統(tǒng)對硬盤容量定義的算法是存在偏差的,因此,硬盤的標稱容量和操作系統(tǒng)中顯示的實際容量也存在著一定的偏差。通常硬盤廠商的算法:1GB=1,000MB、1MB=1,000KB、1KB=1,000bytes。操作系統(tǒng)的算法:1GB=1,024MB、1MB=1,024KB、1KB=1,024bytes。存儲系統(tǒng)支持熱備空間,用于承載失效成員盤中的數(shù)據(jù),在規(guī)劃存儲可用容量時要考慮熱備空間的占用。不同的RAID級別中,校驗數(shù)據(jù)帶來的容量開銷是不同的,也就是說RAID有效磁盤空間利用率也是規(guī)劃實際可用容量需要考慮的。除此之外,不同廠商可用容量數(shù)據(jù)塊大小計算也有差異,所以計算規(guī)劃可用容量的時候,最好有一定的余量。
存儲池,是存放存儲空間資源的容器。為了更好地利用存儲系統(tǒng)的存儲空間,需要根據(jù)實際的業(yè)務(wù)需求,對存儲池的RAID策略進行合理的規(guī)劃。根據(jù)RAID中檢驗位的個數(shù)不同提供不同的保護級別。RAID保護級別的選擇可以參考前文描述,根據(jù)業(yè)務(wù)特點不同提供更合理的容量和性能。創(chuàng)建存儲池時,允許設(shè)置容量分配比的告警閾值,默認是80(百分比),這里特別強調(diào)關(guān)鍵業(yè)務(wù)環(huán)境下不建議增大這個預警值。在使用瘦磁盤(Thin LUN)的時候,容量告警尤其重要,用戶可以根據(jù)業(yè)務(wù)數(shù)據(jù)量增長的速度設(shè)置合理的告警閾值,避免業(yè)務(wù)因為存儲池容量不足而造成服務(wù)中斷。存儲池中RAID的劃分,還要考慮磁盤冗余和磁盤柜冗余,以及熱備盤的配比。RAID是否跨磁盤柜,在空間利用率、可靠性、性能方面還是有差異,不跨磁盤柜的RAID空間利用率高,跨磁盤柜的RAID可靠性高,兩者隨機讀與順序讀性能相當,其中不跨磁盤柜的RAID順序?qū)懶阅芨哂陔S機寫性能。
存儲區(qū)域網(wǎng)絡(luò)SAN中,邏輯單元號LUN是用來標識一個邏輯單元的數(shù)字,這個邏輯單元是通過SCSI尋址的設(shè)備。存儲系統(tǒng)將物理硬盤進行分區(qū),成為擁有邏輯地址的各個部分,進而允許服務(wù)器進行訪問,這樣的一個分區(qū)便稱為一個LUN。通常說的LUN也指在SAN存儲上創(chuàng)建的邏輯磁盤。不同廠商對LUN和卷的定義不同,本文針對一般情況進行描述,即卷只是針對服務(wù)器來講。存儲系統(tǒng)上創(chuàng)建一個LUN,此時LUN相對于存儲系統(tǒng)是一個邏輯設(shè)備。當網(wǎng)絡(luò)中的服務(wù)器連接到存儲系統(tǒng)時,就可以識別到存儲系統(tǒng)上的邏輯設(shè)備LUN,此時LUN相對于服務(wù)器來講就是一個物理硬盤。在該物理硬盤上創(chuàng)建一個或多個分區(qū),就可以得到一個或多個卷。此時卷相對于服務(wù)器是一個邏輯設(shè)備。數(shù)據(jù)庫或應(yīng)用系統(tǒng)創(chuàng)建LUN時,為了存儲系統(tǒng)的性能達到最優(yōu)狀態(tài),需要根據(jù)實際的數(shù)據(jù)存儲情況,為LUN選擇合適的策略。通常存儲廠商會提供不同應(yīng)用類型的預置配置策略,如果沒有匹配特定的應(yīng)用類型,也可以選擇通用類型。LUN數(shù)量的設(shè)置,要考慮LUN是否跨越RAID組中的所有硬盤,新型的RAID技術(shù)的存儲池會將LUN的數(shù)據(jù)塊盡量分布在所有硬盤上,發(fā)揮最大性能,所以要參考不同廠商提供的配置策略設(shè)置合理的LUN數(shù)量。同時滿足數(shù)量的前提下,使用盡量大的LUN容量,以簡化管理開銷,但是建議單個LUN不要超過2TByte。
網(wǎng)絡(luò)側(cè)配置,不管通過以光纖通道為代表的存儲區(qū)域網(wǎng)絡(luò)還是通過以太網(wǎng)互聯(lián),存儲和服務(wù)器之間的網(wǎng)絡(luò)側(cè)規(guī)劃要充分考慮可靠性和負載均衡等特性,通常要遵循幾個原則,即服務(wù)器鏈路雙交換組網(wǎng),每個服務(wù)器至少兩張HBA卡(這里的HBA卡不是泛指光纖通道卡,可以理解為服務(wù)器通過不同協(xié)議連接存儲的接口卡),每張卡到兩個交換機均有鏈路;存儲到交換機雙交換組網(wǎng),每個控制器至少兩張接口卡,每張接口卡到兩個交換機均有鏈路。
存儲和服務(wù)器間的訪問控制也需要規(guī)劃。LUN Masking邏輯單元號掩蔽是指LUN與服務(wù)器HBA卡的WWN地址綁定,與服務(wù)器HBA卡建立一對一或多對一的連接和訪問關(guān)系。以存儲為中心的,在一個存儲前端端口掩碼多個LUN的加強型方法。LUN Masking在存儲控制器級別上進行服務(wù)器HBA的WWN綁定,因此存儲控制能夠?qū)⒉煌琇UN劃分給一個或多個服務(wù)器,可以提供LUN級別的訪問控制。LUN Masking也允許磁盤存儲資源在多個獨立服務(wù)器之間共享。LUNMapping邏輯單元號映射是指LUN與存儲設(shè)備的服務(wù)器端口進行綁定,服務(wù)器連接不同的服務(wù)器端口時所能訪問的LUN不同。實現(xiàn)不同的LUN與不同的存儲服務(wù)器端口綁定,不同的服務(wù)器端口與不同的FC交換機或者不同的ZONE連接,從而實現(xiàn)不同的服務(wù)器只能訪問不同的存儲端口。不同廠商對LUN Masking和LUN Mapping的定義和解釋不完全相同,有的甚至就定義成一個名稱。本位以映射視圖作為統(tǒng)稱,主要圖定義了LUN、陣列端口、服務(wù)器端口之間的邏輯映射。創(chuàng)建映射視圖,建議為了便于管理,建立類似LUN組的對象,將同一種業(yè)務(wù)的LUN加入到一個LUN組內(nèi)。建立類似服務(wù)器組的對象,將包含一組需要共享存儲資源的“服務(wù)器”,以及每個“服務(wù)器”包含多個啟動器(主機端口)。為每一個服務(wù)器創(chuàng)建一個“服務(wù)器”,將該服務(wù)器的所有啟動器添加到該“服務(wù)器”內(nèi)。如果為了可以更精細化的控制存儲端口的分配,可以考慮建立類似端口組的對象,一個端口組應(yīng)至少包含來自于每個控制器的一個端口,以增加運維的靈活性,降低業(yè)務(wù)之間的性能影響,同時避免單點故障。
服務(wù)器側(cè)的配置,主要考慮在服務(wù)器硬件資源有限的情況下,最大程度地發(fā)揮出服務(wù)器性能,提高系統(tǒng)的并發(fā)處理能力與穩(wěn)定性是一項相當重要的工作。操作系統(tǒng)內(nèi)核參數(shù)的調(diào)整是必不可少的。例如Linux系統(tǒng)下,TCP斷開連接以后會以TIIME_WAIT狀態(tài)保留一定的時間,然后才會釋放端口。當并發(fā)請求過多的時候,就會產(chǎn)生大量的TIME_WAIT狀態(tài)的連接,不及時斷開將會占用大量的端口資源。通過優(yōu)化TCP的內(nèi)核參數(shù),及時清理掉TIME_WAIT狀態(tài)的端口。編輯/etc/sysctl.conf并添加參數(shù)內(nèi)容。net.ipv4.tcp_syncookies=1表示開啟SYN Cookies。當出現(xiàn)SYN等待隊列溢出時,啟用Cookies來處理,可防范少量SYN攻擊,默認為0表示關(guān)閉。net.ipv4.tcp_tw_reuse=1表示開啟重用。允許將TIME_WAIT sockets重新用于新的TCP連接。默認為0表示關(guān)閉。net.ipv4.tcp_tw_recycle=1表示開啟TCP連接中TIME_WAIT sockets的快速回收。默認為0表示關(guān)閉。net.ipv4.tcp_fin_timeout=30表示修改系統(tǒng)默認的TIMEOUT時間。讓內(nèi)核參數(shù)修改生效記得執(zhí)行命令sysctl–p。
服務(wù)器側(cè)還需要進行多路徑的配置,主要是服務(wù)器操作系統(tǒng)自身的多路徑管理軟件和存儲廠商提供的多路徑管理軟件。一般存儲廠商提供的多路徑管理軟件是基于操作系統(tǒng)上的增強。可以通過更豐富的參數(shù)配置,靈活配置路徑的選擇算法,和分配I/O負載。尤其是在存儲雙活的解決方案中,多路徑管理軟件的配合非常重要。
關(guān)鍵數(shù)據(jù)存儲在數(shù)據(jù)庫中,數(shù)據(jù)庫側(cè)的配置也是非常重要,企業(yè)級數(shù)據(jù)庫的日志文件和數(shù)據(jù)文件的存儲方式不同,對存儲的要求也不同,例如日志文件會存在頻繁的覆蓋寫的操作,如果存儲中有SSD磁盤,就要特別注意SSD磁盤對寫入次數(shù)的限制,那么就需要通過對數(shù)據(jù)庫參數(shù)的調(diào)整,來減少磁盤離散寫入,增加磁盤順序?qū)懭氲牧?,并且盡量分布均勻的寫入磁盤空間。不同的數(shù)據(jù)庫的數(shù)據(jù)引擎對存儲的I/O要求差異較大,具體情況請參考數(shù)據(jù)庫相關(guān)文檔。
實施中配置步驟參考
OLTP數(shù)據(jù)庫場景下,存儲配置步驟可參考下表。
表1 OLTP數(shù)據(jù)庫場景下存儲配置步驟表
總結(jié)
本文介紹了金融機構(gòu)關(guān)鍵業(yè)務(wù)系統(tǒng)數(shù)據(jù)存儲的選型關(guān)注點,以及實施配置中的一些最佳實踐,讀者可以利用本文提供的存儲、組網(wǎng)、參數(shù)等信息,在實踐中進行參考,減少在實施方案規(guī)劃時的負擔與實施過程中的風險。也期望能夠幫助讀者為關(guān)鍵業(yè)務(wù)系統(tǒng)選擇到具有高性能、高擴展性、安全穩(wěn)定、簡單易用的存儲系統(tǒng)。
結(jié)束語
金融行業(yè)對數(shù)據(jù)存儲的性能、高可用性、安全性、業(yè)務(wù)連續(xù)性等要求比較高,應(yīng)用場景豐富,企業(yè)級存儲需要具備對應(yīng)的能力,并且在實施過程中需要根據(jù)數(shù)據(jù)特點做好規(guī)劃設(shè)計。議題中闡述的技術(shù)特點多為通用技術(shù),或業(yè)界主流技術(shù)特點,意在引導廠商在做產(chǎn)品設(shè)計時能夠更好理解用戶的應(yīng)用場景,同時為用戶在實施規(guī)劃中提供參考。