本文來自微信公眾號“科技云報到”。
近年來,數(shù)據(jù)庫國產(chǎn)化趨勢愈發(fā)明顯,上百家金融業(yè)試點單位在數(shù)據(jù)庫國產(chǎn)化的進(jìn)程中,進(jìn)一步增強(qiáng)信心,向50%國產(chǎn)化率大步邁進(jìn)。
但隨著數(shù)據(jù)庫國產(chǎn)化的深入,一些金融機(jī)構(gòu)采用國產(chǎn)數(shù)據(jù)庫+服務(wù)器本地盤的“存算一體”部署策略,逐漸在實踐中暴露出短板,難以滿足金融核心的場景需求。
金融機(jī)構(gòu)想要高效安全地完成核心數(shù)據(jù)庫國產(chǎn)化改造任務(wù),到底該如何破局?
“存算一體”難以滿足
金融核心系統(tǒng)改造
在金融行業(yè),數(shù)據(jù)庫使用涉及多種場景,如:核心交易、互金類APP、分析類應(yīng)用、辦公應(yīng)用等。
盡管金融各類業(yè)務(wù)場的數(shù)據(jù)庫系統(tǒng)都在逐步向國產(chǎn)數(shù)據(jù)庫改造,但除了辦公等非關(guān)鍵業(yè)務(wù)場景,核心業(yè)務(wù)場景改造仍進(jìn)展緩慢。
究其原因,主要在于國產(chǎn)數(shù)據(jù)庫尤其是國產(chǎn)分布式數(shù)據(jù)庫,大多采用“存算一體”架構(gòu)。
在金融核心業(yè)務(wù)場景中,對數(shù)據(jù)庫的高并發(fā)、易擴(kuò)展、數(shù)據(jù)的時延性、強(qiáng)一致性等方面都著嚴(yán)格要求,但“存算一體”架構(gòu)卻難以支撐,主要體現(xiàn)在以下幾點:
●服務(wù)器可靠性不足
存算一體架構(gòu)采用服務(wù)器本地盤部署方式,但服務(wù)器的可靠性有限,服務(wù)器故障會導(dǎo)致硬盤失效,副本冗余度降低,一旦出問題數(shù)據(jù)庫就無法訪問乃至丟失數(shù)據(jù)。同時,服務(wù)器故障修復(fù)起來也需要較長的時間,運(yùn)維管理過于復(fù)雜。
●數(shù)據(jù)同步難做到強(qiáng)一致性
由于服務(wù)器本地盤的可靠性不足,存算一體架構(gòu)下數(shù)據(jù)庫往往通過一主多備的形式提升系統(tǒng)可用性。但在主庫和備庫間同步數(shù)據(jù)時,幾乎無法同時滿足金融核心對高性能和強(qiáng)一致性的要求。
●資源利用率不高,無法按需擴(kuò)張
由于計算和存儲強(qiáng)綁定,存算一體不可避免地存在CPU的爭搶,有限的CPU在業(yè)務(wù)繁忙的情況下往往顧此失彼。
在擴(kuò)容時,計算和存儲資源擴(kuò)容不可能一致的同比例被消耗,勢必導(dǎo)致一邊資源出現(xiàn)浪費,無法實現(xiàn)資源的按需擴(kuò)張。
由于數(shù)據(jù)庫彈性伸縮能力出現(xiàn)挑戰(zhàn),再依靠堆疊節(jié)點數(shù)量來提升性能和可靠性,企業(yè)成本勢必也會持續(xù)增加。
●容災(zāi)不滿足行業(yè)要求
在金融核心場景,容災(zāi)是必要的能力。對于五大行或頭部股份制金融機(jī)構(gòu)的核心系統(tǒng)而言,基本都要求達(dá)到RTO分鐘級、RPO=0的最高水平。
而存算一體架構(gòu)在主備庫間復(fù)制產(chǎn)生的問題,在容災(zāi)場景下表現(xiàn)更為顯著,因為鏈路拉遠(yuǎn)后故障場景更為復(fù)雜。
目前采用存算一體架構(gòu)的數(shù)據(jù)庫,幾乎都采用單集群拉遠(yuǎn)+異步復(fù)制模式,核心業(yè)務(wù)下多集群數(shù)據(jù)庫強(qiáng)一致性容災(zāi)的案例幾乎沒有,很難滿足金融核心系統(tǒng)對于容災(zāi)的要求。
回顧存算一體架構(gòu)為何會興起,互聯(lián)網(wǎng)企業(yè)在其中扮演了關(guān)鍵角色。
大約20年前,互聯(lián)網(wǎng)時代興起,數(shù)據(jù)井噴式增長,互聯(lián)網(wǎng)電商對數(shù)據(jù)庫提出了水平擴(kuò)展、大集群規(guī)模、高并發(fā)等新訴求。
當(dāng)時在國內(nèi)市場形成壟斷的“IOE”數(shù)據(jù)庫系統(tǒng),由于架構(gòu)欠缺橫向擴(kuò)展能力,越來越難適應(yīng)互聯(lián)網(wǎng)業(yè)務(wù)激增的性能和靈活擴(kuò)容訴求。
同時由于市場壟斷,“IOE”系統(tǒng)的價格十分高昂,國外廠商對國內(nèi)企業(yè)的訴求響應(yīng)優(yōu)先級也比較低,導(dǎo)致使用和維護(hù)“IOE”的成本逐年走高。
出于成本和反壟斷的考慮,也恰好因為互聯(lián)網(wǎng)業(yè)務(wù)對擴(kuò)展性、吞吐量要求高,但對可靠性要求不高,以大型互聯(lián)網(wǎng)廠商為代表的國內(nèi)企業(yè)開始提出“去IOE”的想法,存算一體架構(gòu)由此出現(xiàn)。
而大型互聯(lián)網(wǎng)廠商在自身技術(shù)成熟后,有了更多將能力外溢和變現(xiàn)的商業(yè)動機(jī);同時互聯(lián)網(wǎng)本身具備極強(qiáng)的布道性,帶動了國內(nèi)許多數(shù)據(jù)庫廠商選擇“存算一體”路線進(jìn)入這個風(fēng)口,“存算一體”數(shù)據(jù)庫也因此從互聯(lián)網(wǎng)行業(yè)走進(jìn)了更多行業(yè)。
但也應(yīng)看到,在金融和其他行業(yè)中,“存算一體”數(shù)據(jù)庫更多部署在其新興互聯(lián)網(wǎng)業(yè)務(wù)或非核心業(yè)務(wù)中。
畢竟對于這些行業(yè)而言,并沒有互聯(lián)網(wǎng)行業(yè)那么大的并發(fā)訪問需求,也沒有那么多的數(shù)據(jù)需要存儲。
相反,業(yè)務(wù)連續(xù)性、可靠性是第一考慮因素。這也是為什么金融等行業(yè)的核心業(yè)務(wù)數(shù)據(jù)庫改造總顯得步履維艱的原因。
不過歷史總在輪回,如同當(dāng)年“IOE”架構(gòu)讓數(shù)據(jù)庫從“存算一體”走向了“存算分離”,而國內(nèi)的“去IOE架構(gòu)”和上云浪潮又讓數(shù)據(jù)庫從“存算分離”走向了“存算一體”,如今在企業(yè)數(shù)字化轉(zhuǎn)型不斷深化的進(jìn)程中,數(shù)據(jù)庫再次走到了“存算分離”的技術(shù)拐點”。
“存算一體”轉(zhuǎn)向
“存算分離”成為大勢所趨
從目前業(yè)界的技術(shù)發(fā)展趨勢看,IT巨頭們都不約而同采用了共享存儲的方式,通過“存算分離”架構(gòu),去提升數(shù)據(jù)庫的整體能力。
不論是AWS Aurora,還是華為GaussDB、阿里PolarDB、騰訊TDSQL,都在向存算分離架構(gòu)靠攏,這絕不是一種巧合。
FaceBook在提出“技術(shù)拐點論”時指出,當(dāng)下之所以可以實現(xiàn)存算分離的技術(shù)原因,在于傳輸協(xié)議和帶寬能力已不再是IO瓶頸,可以基于低延時、高帶寬支持大量數(shù)據(jù)相互間同步。
當(dāng)傳輸性能短板被填補(bǔ)以后,以及存儲技術(shù)的提升,必然會迎來IT架構(gòu)的變革。業(yè)界發(fā)現(xiàn)采用存算分離,可以基于架構(gòu)變化帶來事半功倍甚至從0到1的改變,從而讓數(shù)據(jù)庫替換的代價變小。
正因如此,新一代存算分離架構(gòu)正成為全球數(shù)據(jù)庫大勢所趨,其優(yōu)勢非常明顯:
●可靠性提升
在存算分離架構(gòu)下,數(shù)據(jù)被存放在高可靠的專業(yè)存儲中,即使服務(wù)器損壞,數(shù)據(jù)也不會丟失,換一臺新的服務(wù)器仍然可以照常使用。
特別是高端存儲從體系架構(gòu)設(shè)計出發(fā),提供了超高的故障容忍能力,提升了可靠性短板,減少因可靠性、運(yùn)維能力不足造成的硬件冗余。
●主從強(qiáng)一致性
存算分離后,就無需多副本數(shù)據(jù)同步,性能問題可以很好的得到解決,存儲資源的利用率也大大提升,從而為主從強(qiáng)一致打下了基礎(chǔ),進(jìn)一步可以實現(xiàn)多主多寫。
●資源按需分配,擴(kuò)容靈活
存算分離架構(gòu)下,存儲不消耗計算節(jié)點的CPU資源,計算節(jié)點專職負(fù)責(zé)數(shù)據(jù)庫的運(yùn)算,而且存儲性能的提升有利于充分發(fā)揮服務(wù)器CPU利用率。同時,計算和存儲可以彈性擴(kuò)展,按需分配,靈活迅速。
●專業(yè)級容災(zāi)
存算分離后,可以利用專業(yè)企業(yè)存儲的容災(zāi)備份能力,如快照、復(fù)制等,滿足金融核心業(yè)務(wù)的數(shù)據(jù)保護(hù)需求。
●能力復(fù)用
此外,使用共享存儲成熟的備份恢復(fù)、SSD介質(zhì)延壽、亞健康等能力,還能快速提升數(shù)據(jù)庫整體解決方案能力,節(jié)約開發(fā)成本。
事實上,新一代存算分離架構(gòu)是業(yè)界基于當(dāng)前改造的現(xiàn)狀和本地盤部署的弊端不斷探索出來的,更是互聯(lián)網(wǎng)企業(yè)和數(shù)字化轉(zhuǎn)型企業(yè)的共同選擇。
只有將數(shù)據(jù)庫升級為存算分離架構(gòu),把不可靠的計算設(shè)施和數(shù)據(jù)分離開,由更加可靠的專業(yè)存儲來保存數(shù)據(jù),才能從根本上解決存算一體數(shù)據(jù)庫系統(tǒng)不可靠的問題。
唯有提升了可靠性,金融行業(yè)才敢于把關(guān)鍵業(yè)務(wù)交給新一代國產(chǎn)數(shù)據(jù)庫,才有破局的可能性。
“存算分離+專業(yè)存儲”
是金融核心數(shù)據(jù)庫的
最優(yōu)選擇架構(gòu)
如今隨著政策形勢和業(yè)務(wù)需求變化,國產(chǎn)數(shù)據(jù)庫走向金融核心已是大勢所趨。
在追趕業(yè)界領(lǐng)先者的道路上,國產(chǎn)數(shù)據(jù)庫更應(yīng)站在巨人的肩膀上,利用存算分離架構(gòu)既有優(yōu)勢,打造場景普適性更強(qiáng)、更有競爭力的產(chǎn)品。
近日,華為存儲與南大通用共同發(fā)布的“金融核心級數(shù)據(jù)庫高可用解決方案”,正是基于“存算分離+專業(yè)存儲”的領(lǐng)先架構(gòu),率先為金融業(yè)提供了國產(chǎn)化的核心數(shù)據(jù)庫改造落地方案。
據(jù)悉,該聯(lián)合方案在可靠性、性能與能效上均能滿足金融核心業(yè)務(wù)需求:
●高性能:實現(xiàn)一寫多讀,性能大幅提升
聯(lián)合方案實現(xiàn)一份數(shù)據(jù)庫副本一寫多讀能力,使能業(yè)務(wù)系統(tǒng)讀寫分離、負(fù)載均衡;數(shù)據(jù)并發(fā)處理性能大幅提升,實現(xiàn)業(yè)務(wù)交易平均響應(yīng)時延縮短20%,批量處理時間較縮短38%,數(shù)據(jù)備份耗時縮短6倍。
●高可靠:異地雙重容災(zāi)保障,RPO=0
聯(lián)合方案采用雙重容災(zāi)機(jī)制確保核心業(yè)務(wù)系統(tǒng)高可用。在應(yīng)用層,實現(xiàn)基于邏輯復(fù)制的數(shù)據(jù)庫容災(zāi),備庫可讀;在存儲層,確保數(shù)據(jù)高效、完整復(fù)制到容災(zāi)站點,且不影響工作站點性能,確保RPO=0,滿足金融核心系統(tǒng)業(yè)務(wù)要求。
當(dāng)前,該聯(lián)合方案已在西南某城商行核心業(yè)務(wù)系統(tǒng)商用落地并穩(wěn)定運(yùn)行,成為我國金融業(yè)核心數(shù)據(jù)庫改造的標(biāo)桿案例。
從行業(yè)層面看,華為作為全球存儲領(lǐng)導(dǎo)者,南大通用作為國產(chǎn)數(shù)據(jù)庫“四小龍”之一,兩者的強(qiáng)強(qiáng)聯(lián)合為業(yè)界帶來了切實可落地的國產(chǎn)化改造方案,使得金融、運(yùn)營商等關(guān)基行業(yè)不再受制于存算一體數(shù)據(jù)庫的短板,大膽將核心業(yè)務(wù)交給國產(chǎn)數(shù)據(jù)庫,進(jìn)一步加速我國關(guān)基行業(yè)核心數(shù)據(jù)庫的國產(chǎn)化進(jìn)程。
正如GBase南大通用8s數(shù)據(jù)庫總經(jīng)理崔志偉所說,南大通用和華為均是我國扎根IT基礎(chǔ)設(shè)施技術(shù)多年、達(dá)到業(yè)界領(lǐng)先水平的基礎(chǔ)設(shè)施供應(yīng)商,面臨傳統(tǒng)核心系統(tǒng)改造這一歷史轉(zhuǎn)折點,這既是挑戰(zhàn)、也是機(jī)遇。
存儲與數(shù)據(jù)庫的持續(xù)合作創(chuàng)新,將進(jìn)一步促進(jìn)我國基礎(chǔ)設(shè)施核心系統(tǒng)升級轉(zhuǎn)型。
在技術(shù)層面,該聯(lián)合方案所采用的“存算分離+專業(yè)存儲”,不僅是金融核心數(shù)據(jù)庫的最優(yōu)選擇架構(gòu),更代表著未來數(shù)據(jù)庫的技術(shù)趨勢,這使得中國數(shù)據(jù)庫與國際領(lǐng)先數(shù)據(jù)庫在性能與可靠性上的差距進(jìn)一步縮小。
事實上,中國并不缺少優(yōu)秀的數(shù)據(jù)庫和存儲廠商,從數(shù)據(jù)庫產(chǎn)業(yè)鏈上下游來看,國產(chǎn)技術(shù)已全面成熟。
但是從全球數(shù)據(jù)庫市場看,中國數(shù)據(jù)庫廠商在占全球數(shù)據(jù)庫廠商總量的32%;而在全球700億美元的市場規(guī)模中,中國市場只有47億美元,僅占5.2%。
根據(jù)DB-Engines Ranking 2023年數(shù)據(jù)顯示,全球熱度最高的數(shù)據(jù)庫中,前100名中均無國產(chǎn)數(shù)據(jù)庫。
隨著國際局勢持續(xù)緊張,一方面數(shù)據(jù)庫國產(chǎn)化替代急需加速,另一方面國產(chǎn)數(shù)據(jù)庫走向世界也是大勢所趨。
國產(chǎn)數(shù)據(jù)庫想要參與國際競爭,就必須面對Oracle、IBM、谷歌、AWS等國際數(shù)據(jù)庫巨頭的巨大競爭壓力,而解決之道無外乎兩點:
一是,正視與國外領(lǐng)先數(shù)據(jù)庫的差距,并借鑒其成功經(jīng)驗。國產(chǎn)數(shù)據(jù)庫需站在“存算分離”架構(gòu)的技術(shù)優(yōu)勢上謀發(fā)展,通過追求技術(shù)領(lǐng)先來參與國際競爭。
二是,加強(qiáng)國產(chǎn)基礎(chǔ)設(shè)施協(xié)同。國產(chǎn)數(shù)據(jù)庫不能“同行內(nèi)卷”、“全棧通吃”,而是要國產(chǎn)產(chǎn)業(yè)鏈間通力合作,共同加快國產(chǎn)數(shù)據(jù)庫的發(fā)展,才能直面激烈的國際競爭。
如今,華為存儲和南大通用的合作,正是國產(chǎn)基礎(chǔ)設(shè)施合作、整合產(chǎn)業(yè)鏈優(yōu)質(zhì)技術(shù)的典范,這也將鼓勵更多國產(chǎn)技術(shù)廠商從競爭走向合作,助力國產(chǎn)數(shù)據(jù)庫加速發(fā)展。
結(jié)語
隨著企業(yè)數(shù)字化轉(zhuǎn)型的不斷深入,“存算分離+專業(yè)存儲”架構(gòu)正在成為金融核心數(shù)據(jù)庫共同的選擇,也是最適合當(dāng)前時代發(fā)展需求的一種架構(gòu)。
在此基礎(chǔ)上,相信國產(chǎn)數(shù)據(jù)庫和存儲廠商的緊密合作,也將走出中國數(shù)據(jù)庫領(lǐng)先的未來。