本文來自微信公眾號“twt企業(yè)IT社區(qū)”,作者/韓鋒,CCIA(中國計算機協(xié)會)常務理事,前Oracle ACE,騰訊TVP,阿里云MVP,dbaplus等多家社群創(chuàng)始人或?qū)<覉F成員。有著豐富的一線數(shù)據(jù)庫架構(gòu)、軟件研發(fā)、產(chǎn)品設計、團隊管理經(jīng)驗。曾擔任多家公司首席DBA、數(shù)據(jù)庫架構(gòu)師等職。在云、電商、金融、互聯(lián)網(wǎng)等行業(yè)均有涉獵,精通多種關(guān)系型數(shù)據(jù)庫,對NoSQL及大數(shù)據(jù)相關(guān)技術(shù)也有涉足,實踐經(jīng)驗豐富。曾著有數(shù)據(jù)庫相關(guān)著作《SQL優(yōu)化最佳實踐》、《數(shù)據(jù)庫高效優(yōu)化》。
1.數(shù)據(jù)分片策略是什么
分布式數(shù)據(jù)庫的核心能力之一,就是通過數(shù)據(jù)分片存儲,來承載更大的數(shù)據(jù)規(guī)模和計算負載。數(shù)據(jù)分片,是把數(shù)據(jù)庫橫向擴展到多個物理節(jié)點上的一種分布式技術(shù)??梢岳斫鉃閷⒈頂?shù)據(jù)按照特定的分片規(guī)則水平切分成若干片段(shard),使這些數(shù)據(jù)片段分布在不同物理節(jié)點上。數(shù)據(jù)分片從大類可分為垂直分片和水平分片,前者是按業(yè)務類別進行拆分,常見為業(yè)務拆庫;后者則是以字段為依據(jù),按照一定策略拆分到若干表中。本文后面所談的數(shù)據(jù)分片,是針對后者。那么如何將數(shù)據(jù)從單體更換為分布式,這就需要考慮數(shù)據(jù)分片策略。數(shù)據(jù)分片策略包括分片算法、數(shù)據(jù)分布、分布關(guān)系等,簡單描述參見下表。
2.分布式數(shù)據(jù)庫分片策略
業(yè)內(nèi)分布式數(shù)據(jù)庫產(chǎn)品,針對數(shù)據(jù)分片策略通常有三種做法。一種是基于主鍵/唯一索引/隱含主鍵等做統(tǒng)一數(shù)據(jù)分片,即用戶無需人為設置分片策略;一種是開放若干數(shù)據(jù)分片算法,用戶可自行創(chuàng)建數(shù)據(jù)對象時人為指定;還有一些數(shù)據(jù)庫中間件產(chǎn)品,支持更為靈活的分片方式,可以讓用戶自行擴展。上面三種,我們可命名為內(nèi)置、開放、自定義。下面從開發(fā)者角度,簡單對比下這幾種方式。
這里解釋一下:
內(nèi)置方式產(chǎn)品,通常對開發(fā)者來說更容易上手,使用體驗與單機數(shù)據(jù)庫基本一致。但由于無法干預分片策略,其靈活性較差且與業(yè)務無關(guān)。在大部分業(yè)務場景下,是需要犧牲性能體驗、消耗更多硬件資源來彌補上述不足。
開放方式產(chǎn)品,需要開發(fā)者從內(nèi)置策略中選擇一種相對最優(yōu)解,其具備一定靈活性也兼具了性能表現(xiàn),可滿足絕大多數(shù)場景的需要,只有個別業(yè)務因其特殊性很難找到合適分片策略,需要業(yè)務定制改造。
自定義方式產(chǎn)品,為開發(fā)者提供最大的靈活自由度,但也意味著易用性較差及需要開發(fā)運維方面做更多工作,很難做到標準產(chǎn)品化。
3.分片實施難點與解法
除了第一種方式外,其余兩種都涉及一個問題就是現(xiàn)有數(shù)據(jù)對象如何拆分?好的拆分策略,一定是兼顧業(yè)務模型、性能最佳、穩(wěn)定可靠、研發(fā)改造、運維難點等多種因素下,結(jié)合分布式數(shù)據(jù)庫的特點而做的最優(yōu)解,這是在多種因素下平衡的結(jié)果。在具體實施上,需要收集大量信息后才能做出決定,下面將主要部分整理為一個表格。
從上表可見,數(shù)據(jù)分片設計過程中,需考慮的問題很多,是一個多維立體的模型分析過程。包括對企業(yè)的業(yè)務流、數(shù)據(jù)流、數(shù)據(jù)模型、業(yè)務特征、基礎環(huán)境等諸多方面的考慮。上述還需要結(jié)合分布式架構(gòu)數(shù)據(jù)庫的能力理解才能得出一個相對“適合”的設計方案。這對于企業(yè)來說是非常痛苦的,也是阻礙企業(yè)上到分布式數(shù)據(jù)庫的難點之一。不能將上述包袱完全推給用戶去完成,而是盡量在數(shù)據(jù)庫產(chǎn)品側(cè)給出答案,即產(chǎn)品需具備數(shù)據(jù)分片優(yōu)化推薦功能。如果分片設計不合理,可能造成影響到業(yè)務系統(tǒng)的穩(wěn)定可靠、服務體驗,往往服務體驗是忽快忽慢且最可怕是某一些時刻或者業(yè)務場景是最慢的,從而導致排錯分析的困難復雜增加。當然,開始設計很難做到十全十美,但系統(tǒng)在運行中經(jīng)過不斷摸索后還需數(shù)據(jù)庫具備一定的在線分片調(diào)整能力,例如針對分片類型或分片字段的調(diào)整。在這一過程中要做到不中斷現(xiàn)有業(yè)務服務的正常運行,其次要做到盡量少地影響現(xiàn)有業(yè)務服務的性能體驗(也即控制資源占用對生產(chǎn)環(huán)境的業(yè)務服務影響),最后要做到盡量快地完成分片信息的調(diào)整。
4.業(yè)內(nèi)產(chǎn)品現(xiàn)狀及展望
目前國內(nèi)很多分布式數(shù)據(jù)庫廠商都加強了遷移能力的支持,一般是通過外置工具的方式提供收集、評估、輔助遷移、驗證等一系列流程的支持。下圖是以OceanBase的OMA工具舉例,說明其提供的支持能力。
通過上圖可見,產(chǎn)品針對數(shù)據(jù)分片策略部分做的不多,主要是對兼容類的評估工具;即根據(jù)數(shù)據(jù)庫自身能力,評估原有對象、SQL語句需要做哪些改造等。尚沒有實現(xiàn)數(shù)據(jù)分片策略的推薦工作,處于空白。