云原生是一種新型技術(shù)體系，是云計(jì)算未來(lái)的發(fā)展方向。今天，我來(lái)談?wù)労螢樵圃?、云原生如何與分布式有機(jī)結(jié)合，以及云原生技術(shù)如何幫助客戶(hù)邁入數(shù)字原生時(shí)代。
云原生：從小池塘到江河大海
云原生數(shù)據(jù)庫(kù)在海外被稱(chēng)為「Cloud-Native Database Systems」，前面譯成中文就是「云原生」，理解云原生先要理解兩個(gè)關(guān)鍵詞——「云」和「原生」。
在傳統(tǒng)數(shù)據(jù)庫(kù)的系統(tǒng)架構(gòu)下，必須是緊耦合的設(shè)計(jì)方式，才能最大效能地發(fā)揮系統(tǒng)的優(yōu)勢(shì)。舉個(gè)生活中的例子，過(guò)去每家每戶(hù)會(huì)根據(jù)用水量打一口水井使用，這與傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)使用計(jì)算、存儲(chǔ)資源的方式一樣，但它是緊耦合的方式。如果水不夠了怎么辦？對(duì)應(yīng)的，這就是傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)里經(jīng)常提到的業(yè)務(wù)擴(kuò)容。
在金融行業(yè)，數(shù)據(jù)庫(kù)系統(tǒng)擴(kuò)容通常需要提前幾個(gè)月甚至半年去做規(guī)劃，進(jìn)而細(xì)致部署、縝密實(shí)施，上線(xiàn)——灰度——再驗(yàn)證，一整套流程就是為了擴(kuò)容、縮容。傳統(tǒng)擴(kuò)容過(guò)程非常漫長(zhǎng)，而業(yè)務(wù)高峰過(guò)后縮容也很痛苦，往往會(huì)造成極大的資源浪費(fèi)，也很難應(yīng)對(duì)業(yè)務(wù)層需要的快速變化能力，這是傳統(tǒng)架構(gòu)非常大的弊端之一。
如果清楚這些概念和背景就很好理解云原生了?！冈啤咕褪鞘褂锰摂M化的技術(shù)將資源池化。水是資源，不用緊耦合的方式來(lái)部署和使用，不用家家戶(hù)戶(hù)打水井，而是整個(gè)村莊聯(lián)合起來(lái)“打”一個(gè)湖或池塘，再修管道連到各家各戶(hù)，這就是資源池化。資源池化以后可以做到按需按量使用，彈性調(diào)度，甚至還可以將資源進(jìn)行解耦，比如，將廚房當(dāng)作一個(gè)計(jì)算節(jié)點(diǎn)，水當(dāng)作存儲(chǔ)節(jié)點(diǎn)，可以隨時(shí)切換，如果這個(gè)廚房不夠了，通過(guò)系統(tǒng)調(diào)度，可以快速拉起另外兩三個(gè)廚房做計(jì)算。
這就是云原生核心邏輯，將不同類(lèi)型資源解耦，并進(jìn)行池化。讓原來(lái)的一口口獨(dú)立水井，在背后合并成一個(gè)看不見(jiàn)的江河湖海。具體的，比如在云原生的計(jì)算存儲(chǔ)分離架構(gòu)下，業(yè)務(wù)節(jié)點(diǎn)可以根據(jù)需要自由地對(duì)計(jì)算、存儲(chǔ)進(jìn)行快速的擴(kuò)縮容等操作。
可以看到，云原生帶來(lái)的本質(zhì)性變化就像水井和池塘，隨著池塘不斷變大，越來(lái)越多應(yīng)用遷移上云，池塘不再是池塘，而變成了江河大海。云原生帶來(lái)的最大技術(shù)紅利以及經(jīng)濟(jì)紅利就是規(guī)模化應(yīng)用后帶來(lái)邊際成本下降效應(yīng)，因此向云原生技術(shù)演進(jìn)的趨勢(shì)自然發(fā)生并且非常清晰，無(wú)論用公共云還是專(zhuān)有云私有化部署。這個(gè)邊際成本下降效應(yīng)體現(xiàn)在產(chǎn)品上，客戶(hù)就會(huì)因此受益，TCO也一定會(huì)下降。
數(shù)據(jù)庫(kù)的未來(lái)：云原生+分布式
全球知名咨詢(xún)公司Gartner指出，云將主導(dǎo)數(shù)據(jù)庫(kù)市場(chǎng)的未來(lái)，到2022年，75%的數(shù)據(jù)庫(kù)將被部署或遷移至云平臺(tái)，只有25%的數(shù)據(jù)庫(kù)會(huì)在本地運(yùn)行。云化無(wú)疑代表了未來(lái)，企業(yè)如何在云原生架構(gòu)下使用數(shù)據(jù)庫(kù)，就成為必須要思考的問(wèn)題的。
隨著企業(yè)業(yè)務(wù)全面向數(shù)字化、在線(xiàn)化、智能化演進(jìn)，企業(yè)面臨著呈指數(shù)級(jí)遞增的海量存儲(chǔ)需求和挑戰(zhàn)，業(yè)務(wù)有更多的熱點(diǎn)和突發(fā)流量帶來(lái)的挑戰(zhàn)，企業(yè)需要降本增效，進(jìn)行更智能的數(shù)據(jù)決策，傳統(tǒng)的商業(yè)數(shù)據(jù)庫(kù)已經(jīng)難以滿(mǎn)足和響應(yīng)快速增長(zhǎng)的業(yè)務(wù)訴求。
在架構(gòu)創(chuàng)新上，我們將云原生與分布式結(jié)合起來(lái)，全新的云原生分布式架構(gòu)的數(shù)據(jù)庫(kù)具備了高擴(kuò)展性、易用性、迭代快速、成本降低等特點(diǎn)，可以很好的幫助企業(yè)解決上述問(wèn)題。未來(lái)數(shù)據(jù)庫(kù)也將全面進(jìn)入云原生加分布式的時(shí)代。具體來(lái)講：
高擴(kuò)展性
云原生分布式數(shù)據(jù)庫(kù)與底層的云計(jì)算基礎(chǔ)設(shè)施分離，所以能夠靈活及時(shí)調(diào)動(dòng)資源進(jìn)行擴(kuò)容縮容，以從容應(yīng)對(duì)流量激增帶來(lái)的壓力，以及流量低谷期因資源過(guò)剩造成的浪費(fèi)。生態(tài)兼容的特點(diǎn)，也讓云原生數(shù)據(jù)庫(kù)具備很強(qiáng)的可遷移性。
易用性
云原生分布式數(shù)據(jù)庫(kù)非常易于使用，它的計(jì)算節(jié)點(diǎn)在云端部署，可以隨時(shí)隨地從多前端訪(fǎng)問(wèn)。因其集群部署在云上，通過(guò)自動(dòng)化的容災(zāi)與高可用能力，單點(diǎn)失敗對(duì)服務(wù)的影響非常小。當(dāng)需要升級(jí)或更換服務(wù)時(shí)，還可以對(duì)節(jié)點(diǎn)進(jìn)行不中斷服務(wù)的輪轉(zhuǎn)升級(jí)。
快速迭代
云原生分布式數(shù)據(jù)庫(kù)中的各項(xiàng)服務(wù)之間相互獨(dú)立，個(gè)別服務(wù)的更新不會(huì)對(duì)其他部分產(chǎn)生影響。此外，云原生的研發(fā)測(cè)試和運(yùn)維工具高度自動(dòng)化，也就可以實(shí)現(xiàn)更加敏捷的更新與迭代。
節(jié)約成本
建立數(shù)據(jù)中心是一項(xiàng)獨(dú)立而完備的工程，需要大量的硬件投資以及管理和維護(hù)數(shù)據(jù)中心的專(zhuān)業(yè)運(yùn)維人員。此外，持續(xù)運(yùn)維會(huì)造成很大的財(cái)務(wù)壓力。云原生分布式數(shù)據(jù)庫(kù)以較低的前期成本，獲得一個(gè)可擴(kuò)展的數(shù)據(jù)庫(kù)，實(shí)現(xiàn)更優(yōu)化的資源分配。
大數(shù)據(jù)與數(shù)據(jù)庫(kù)系統(tǒng)的一體化新時(shí)代
目前，數(shù)據(jù)庫(kù)領(lǐng)域有幾大核心發(fā)展趨勢(shì)，除了上述提及的云原生和分布式技術(shù)的融合，還有大數(shù)據(jù)與數(shù)據(jù)庫(kù)一體化，包括HTAP以及離在線(xiàn)一體化；智能化技術(shù)深度融合，即自感知+自決策+自恢復(fù)+自?xún)?yōu)化；Multi-Model多模；軟硬件一體化，充分發(fā)揮新硬件的優(yōu)勢(shì)；安全可信技術(shù)，即可驗(yàn)證日志、數(shù)據(jù)隱私保護(hù)與安全多方計(jì)算+全鏈路加密。
在數(shù)據(jù)分析領(lǐng)域，企業(yè)亟需高效解決海量數(shù)據(jù)深度計(jì)算分析，下一代數(shù)據(jù)分析演進(jìn)方向應(yīng)該是“以云原生為基礎(chǔ)，離在線(xiàn)一體化技術(shù)融合，實(shí)現(xiàn)數(shù)據(jù)庫(kù)大數(shù)據(jù)一體化”。“數(shù)據(jù)庫(kù)大數(shù)據(jù)一體化”的云原生數(shù)據(jù)分析系統(tǒng)能夠很好的提供彈性擴(kuò)展、海量存儲(chǔ)、多種計(jì)算及低成本等能力，有效解決海量數(shù)據(jù)深度計(jì)算分析的業(yè)務(wù)分析和創(chuàng)新訴求。
“數(shù)據(jù)庫(kù)大數(shù)據(jù)一體化”也是業(yè)界近年的發(fā)展趨勢(shì)。Gartner“There is only one DBMS Market”報(bào)告指出，過(guò)去根據(jù)業(yè)務(wù)場(chǎng)景按照分析型和交易型需求，需要獨(dú)立發(fā)展OPDBMS（事務(wù)處理）和DMSA（管理與分析），而未來(lái)分析型和交易型數(shù)據(jù)操作對(duì)技術(shù)架構(gòu)依賴(lài)性會(huì)更小，將不再需要獨(dú)立區(qū)分OPDBMS和DMSA，通過(guò)一體化的數(shù)據(jù)處理技術(shù)即可滿(mǎn)足大多訴求。
從技術(shù)架構(gòu)演進(jìn)過(guò)程來(lái)看，2003至2006年，Google發(fā)布了關(guān)于Google File System、MapReduce和BigTable三篇海量數(shù)據(jù)存儲(chǔ)、處理技術(shù)論文，奠定了今天大數(shù)據(jù)的整個(gè)技術(shù)生態(tài)圈的基石。
2012年至今，隨著云計(jì)算的發(fā)展，云計(jì)算的資源池化、存儲(chǔ)與計(jì)算彈性擴(kuò)展等基礎(chǔ)設(shè)施升級(jí)，以及計(jì)算存儲(chǔ)分離、在離線(xiàn)一體化等技術(shù)創(chuàng)新，促進(jìn)了數(shù)據(jù)處理開(kāi)始朝一份數(shù)據(jù)開(kāi)放計(jì)算、存儲(chǔ)計(jì)算分離的云原生方向演進(jìn)，誕生了如Snowflake、AWS Redshift、AWS Aurora、AWS Athena為代表的新一代云原生數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖，加速了數(shù)據(jù)處理向在線(xiàn)化、在離線(xiàn)一體化、結(jié)構(gòu)化與非結(jié)構(gòu)融合處理演進(jìn)，加速業(yè)務(wù)走向數(shù)字化、數(shù)智化創(chuàng)新的新形態(tài)。
綜上所述，我認(rèn)為“數(shù)據(jù)庫(kù)大數(shù)據(jù)一體化”的數(shù)據(jù)分析系統(tǒng)應(yīng)具備幾個(gè)特點(diǎn)：云原生；一份存儲(chǔ)多種計(jì)算；海量存儲(chǔ)，支持結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)庫(kù)的存儲(chǔ)及計(jì)算；全面兼容數(shù)據(jù)庫(kù)生態(tài)。
云原生時(shí)代，中國(guó)數(shù)據(jù)庫(kù)的歷史新機(jī)遇
在剛剛過(guò)去的2020年，Gartner公布了年度全球數(shù)據(jù)庫(kù)魔力象限評(píng)估結(jié)果，Gartner將OPDBMS(事務(wù)性關(guān)系型數(shù)據(jù)庫(kù))與DMSA(大數(shù)據(jù)管理與分析)合二為一成為新的Cloud DBMS Market(統(tǒng)一的云數(shù)據(jù)庫(kù)系統(tǒng)市場(chǎng))，故這次的評(píng)比更加全面，也代表了“云”的發(fā)展趨勢(shì)。
阿里云挺進(jìn)全球數(shù)據(jù)庫(kù)第一陣營(yíng)——領(lǐng)導(dǎo)者象限，這是中國(guó)數(shù)據(jù)庫(kù)歷史上重大突破，也是中國(guó)在基礎(chǔ)軟件行業(yè)首次成為Gartner魔力象限的全球領(lǐng)導(dǎo)者，代表著中國(guó)技術(shù)正日益走向國(guó)際舞臺(tái)，并日漸成為這個(gè)舞臺(tái)中的佼佼者。正如Gartner分析師所說(shuō)：“阿里云擁有豐富的數(shù)據(jù)庫(kù)種類(lèi)和完善的產(chǎn)品布局，為用戶(hù)提供多種關(guān)系型、分析型和非關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品，還提供混合云環(huán)境部署，同時(shí)集成備份、數(shù)據(jù)遷移與同步等能力，最重要的是，阿里云有非常強(qiáng)大的技術(shù)實(shí)力與創(chuàng)新能力。”
在OLTP領(lǐng)域，阿里云提供核心的云托管數(shù)據(jù)庫(kù)服務(wù)RDS，以及云原生關(guān)系型數(shù)據(jù)庫(kù)PolarDB以及分布式版PolarDB-X。阿里云RDS具備智能化、安全可信、簡(jiǎn)易運(yùn)維、高可用、高性?xún)r(jià)比等多種特性。
PolarDB是國(guó)內(nèi)首個(gè)云原生關(guān)系型數(shù)據(jù)庫(kù)，也是國(guó)內(nèi)首個(gè)基于存儲(chǔ)與計(jì)算分離架構(gòu)云原生數(shù)據(jù)庫(kù)，已全面應(yīng)用于零售、電信、物流、金融等多個(gè)行業(yè)；PolarDB-X基于云原生分布式一體化架構(gòu)設(shè)計(jì)，可支撐千萬(wàn)級(jí)并發(fā)規(guī)模及百PB級(jí)海量存儲(chǔ)，在阿里巴巴線(xiàn)上核心系統(tǒng)廣泛使用，連續(xù)多年穩(wěn)定支撐天貓雙11，在1秒鐘內(nèi)系統(tǒng)負(fù)載增加了145倍情況下依然保持穩(wěn)定。
在OLAP領(lǐng)域，阿里云推出了新一代云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB以及云原生數(shù)據(jù)湖分析Data Lake Analytics；AnalyticDB是新一代云原生數(shù)據(jù)倉(cāng)庫(kù)，獲得了TPC-DS/TPC-H官方認(rèn)證的優(yōu)異成績(jī)，支撐國(guó)稅、郵政、上海城市大腦等超大規(guī)?？蛻?hù)。在NoSQL領(lǐng)域，阿里云推出了云原生多模數(shù)據(jù)庫(kù)Lindorm和云原生內(nèi)存數(shù)據(jù)庫(kù)Tair。除此之外，我們還構(gòu)建了企業(yè)級(jí)數(shù)據(jù)庫(kù)生態(tài)工具產(chǎn)品體系，以及云原生智能化數(shù)據(jù)庫(kù)管控平臺(tái)。
阿里云正在構(gòu)建一個(gè)日益完整的云原生數(shù)據(jù)庫(kù)產(chǎn)品體系，讓客戶(hù)在這個(gè)生態(tài)體系中用數(shù)據(jù)庫(kù)的方法解決諸多數(shù)據(jù)處理、存儲(chǔ)分析、計(jì)算所面臨的挑戰(zhàn)和問(wèn)題，這不僅是阿里云數(shù)據(jù)庫(kù)的基本出發(fā)點(diǎn)，也是客戶(hù)學(xué)習(xí)曲線(xiàn)最低，應(yīng)用成本最低的一種方案。
未來(lái)，我們會(huì)始終堅(jiān)持以客戶(hù)需求為核心，從客戶(hù)視角出發(fā)，堅(jiān)持客戶(hù)第一、創(chuàng)造客戶(hù)價(jià)值，將更多研發(fā)力量投入到解決客戶(hù)痛點(diǎn)的產(chǎn)品上，讓技術(shù)創(chuàng)造新商業(yè)。
