StarRocks葉謙:新一代MPP數(shù)據(jù)庫(kù)有啥不一樣?

ITPUB
卿云
多年前逛論壇的時(shí)候,看到一首詩(shī),印象深刻:凡事莫問(wèn)我,問(wèn)我也茫然。我若知道路,不站幾千年。詩(shī)人登山,或許當(dāng)時(shí)有所困惑,忽然見到石人指路的雕像有感而發(fā),頗有哲思,前方的路終究是要靠自己腳踏實(shí)地走出來(lái)。

多年前逛論壇的時(shí)候,看到一首詩(shī),印象深刻:凡事莫問(wèn)我,問(wèn)我也茫然。我若知道路,不站幾千年。詩(shī)人登山,或許當(dāng)時(shí)有所困惑,忽然見到石人指路的雕像有感而發(fā),頗有哲思,前方的路終究是要靠自己腳踏實(shí)地走出來(lái)。

對(duì)于一直從事國(guó)產(chǎn)數(shù)據(jù)庫(kù)的人而言大概會(huì)有一種心有戚戚焉的感受,國(guó)產(chǎn)數(shù)據(jù)庫(kù)的發(fā)展之路并不容易,伴隨著質(zhì)疑與爭(zhēng)議,如今迎來(lái)春天,百花齊放,這條路都是腳踏實(shí)地踩坑走出來(lái)的。

11.png

鼎石科技COO葉謙

在今年,新一代MPP數(shù)據(jù)庫(kù)廠商鼎石科技也迎來(lái)了自己新的發(fā)展階段,產(chǎn)品由原DorisDB更名為StarRocks,并宣布全面開源,此舉引發(fā)業(yè)內(nèi)討論。在日前DTCC2021中國(guó)數(shù)據(jù)庫(kù)技術(shù)大會(huì)之際,IT168采訪了鼎石科技COO葉謙,我們聊了聊StarRocks的定位以及數(shù)據(jù)庫(kù)技術(shù)的發(fā)展。

關(guān)于StarRocks源碼開放

2021年9月8日,成立一年多的鼎石科技宣布將核心產(chǎn)品DorisDB升級(jí)為StarRocks,并全面開源。新名“StarRocks”由星星“Star”和石頭“Rocks”組成,被團(tuán)隊(duì)寄予了美好的期望,意為仰望星空的同時(shí),腳踏實(shí)地走路。此舉卻引發(fā)了業(yè)內(nèi)廣泛討論關(guān)注,比如StarRocks與Apache Doris是怎樣的關(guān)系?StarRocks為什么采用Elastic License 2.0(簡(jiǎn)稱ELv2)許可證?

在創(chuàng)業(yè)之初,StarRocks團(tuán)隊(duì)成員幾乎都來(lái)自Apache Doris,所以在給項(xiàng)目起名時(shí)參考了之前PrestoDB的做法,取名DorisDB。并且在中國(guó)、美國(guó)和日本都注冊(cè)了商標(biāo)。然而此舉影響了Apache Doris項(xiàng)目畢業(yè),所以后來(lái)產(chǎn)品更名為StarRocks。

葉謙告訴IT168,Apache Doris可以看作是StarRocks的上游項(xiàng)目,StarRocks創(chuàng)始團(tuán)隊(duì)曾經(jīng)深度參與了Apache Doris的項(xiàng)目建設(shè),公司有四位員工是Apache Doris PPMC成員。據(jù)悉,鼎石科技公司大概有17位員工之前曾經(jīng)參與過(guò)Apache Doris的開發(fā),貢獻(xiàn)了約30萬(wàn)行代碼。目前StarRocks代碼量大概有80萬(wàn),其中約33萬(wàn)行代碼繼承自Apache Doris項(xiàng)目,剩下的47萬(wàn)行都是StarRocks自研。

關(guān)于代碼許可證,葉謙強(qiáng)調(diào):“鼎石科技作為一家商業(yè)化的公司,肯定是要追求商業(yè)上的成功。源代碼開放和商業(yè)上的成功從表面上看起來(lái)是兩件相互矛盾的事情,特別是在云廠商已經(jīng)形成一股強(qiáng)大力量的今天。”他介紹,在鼎石科技之前,已經(jīng)有不少先行者在源代碼開放以及商業(yè)化之間的平衡進(jìn)行了很多探索和嘗試。比如說(shuō)Databricks,他們有完全開源的產(chǎn)品Apache Spark,使用Apache協(xié)議,也有閉源的商業(yè)化產(chǎn)品Photon,其商業(yè)化成功靠的是Photon的性能大幅領(lǐng)先Apache Spark。這種開放模式可以稱為“弱內(nèi)核+寬松協(xié)議”。還有一種類型,比如說(shuō)MongoDB,他們開放源代碼的內(nèi)核就是最好的,普通用戶可以免費(fèi)使用,但為了防止云廠商直接商業(yè)化,堵了MongoDB商業(yè)化之路,所以MongoDB只能使用SSPL這樣比較嚴(yán)格協(xié)議,即采用一種“強(qiáng)內(nèi)核+嚴(yán)格協(xié)議”的開放模式。

“我們?cè)诳紤]開放和商業(yè)化這兩件事情的時(shí)候,更多在考慮如何讓普通用戶更容易地具備最強(qiáng)的數(shù)據(jù)分析能力。當(dāng)然,我們也需要商業(yè)上的成功來(lái)持續(xù)為客戶提供有價(jià)值的產(chǎn)品。所以我們最后選擇使用ELv2協(xié)議來(lái)開放我們的源代碼。”葉謙指出,StarRocks采用的是類似于MongoDB的“強(qiáng)內(nèi)核+嚴(yán)格協(xié)議”開放模式。

未來(lái),StarRocks將有兩條商業(yè)化路徑:一是,StarRocks會(huì)提供一個(gè)具備更多企業(yè)級(jí)功能的企業(yè)版,包括更多的企業(yè)級(jí)運(yùn)維工具,安全性和權(quán)限控制,資源隔離等功能;此外,StarRocks還會(huì)推出一個(gè)純?cè)圃陌姹?,和公有云廠商一起合作,直接為客戶提供全托管的彈性服務(wù)。

新一代MPP數(shù)據(jù)庫(kù)有啥不一樣?

北京鼎石縱橫科技有限公司于2019年開始籌建,公司的成員均來(lái)自百度,阿里,微軟,美團(tuán),京東,小米,字節(jié)跳動(dòng)等互聯(lián)網(wǎng)頭部公司的基礎(chǔ)架構(gòu)和大數(shù)據(jù)團(tuán)隊(duì),其核心產(chǎn)品StarRocks定位為新一代極速M(fèi)PP分析型數(shù)據(jù)庫(kù)系統(tǒng)。新一代MPP數(shù)據(jù)庫(kù)有啥不一樣?

技術(shù)的發(fā)展離不開需求的推動(dòng),在數(shù)據(jù)驅(qū)動(dòng)時(shí)代,OLAP場(chǎng)景下的數(shù)據(jù)分析和查詢扮演著越來(lái)越重要的角色,指導(dǎo)企業(yè)組織經(jīng)營(yíng)決策,傳統(tǒng)的分析架構(gòu)也面臨著一些待解的難題。比如數(shù)據(jù)分析性能不達(dá)標(biāo)、數(shù)據(jù)分析的靈活性不足、數(shù)據(jù)架構(gòu)復(fù)雜度太高、數(shù)據(jù)分析能力彈性不足等。

以數(shù)據(jù)分析性能為例,隨著數(shù)據(jù)驅(qū)動(dòng)的深入,業(yè)務(wù)提出了更多的分析需求,比如多維分析,實(shí)時(shí)分析,高并發(fā)查詢和Adhoc查詢。在很多分析需求場(chǎng)景下,當(dāng)前系統(tǒng)性能表現(xiàn)不佳。葉謙介紹,近幾年實(shí)時(shí)的分析場(chǎng)景如實(shí)時(shí)用戶畫像,做實(shí)時(shí)推薦,或者風(fēng)控類實(shí)時(shí)場(chǎng)景需求更加凸顯。而隨著數(shù)字化轉(zhuǎn)型的不斷深入,企業(yè)要達(dá)到全員數(shù)據(jù)驅(qū)動(dòng),數(shù)據(jù)分析從服務(wù)管理人員到服務(wù)企業(yè)全員發(fā)展,需要高并發(fā)支持。

葉謙介紹,傳統(tǒng)的MPP數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)和分析架構(gòu)存在一些短板,傳統(tǒng)MPP架構(gòu)采用均勻分布的方式來(lái)做數(shù)據(jù)存儲(chǔ),在擴(kuò)容的時(shí)候成本很高,導(dǎo)致無(wú)法支撐很大的數(shù)據(jù)規(guī)模,而且數(shù)據(jù)重新分布時(shí)對(duì)計(jì)算CPU帶寬影響很大,幾乎都需要停服務(wù)。此外,傳統(tǒng)的MPP數(shù)據(jù)庫(kù)對(duì)向量化技術(shù)采用比較少,導(dǎo)致其查詢速度沒有那么快,無(wú)法響應(yīng)現(xiàn)在越來(lái)越多的各類場(chǎng)景需求。

在解決以上問(wèn)題時(shí),StarRocks做了很多創(chuàng)新工作,這也是新一代MPP數(shù)據(jù)庫(kù)的最大特色。StarRocks采用全面向量化技術(shù),整個(gè)執(zhí)行引擎都是按照向量化的方式全部重寫,完全按列存儲(chǔ),按列計(jì)算,按列傳輸。全面向量化引擎實(shí)現(xiàn)了在OLAP多維分析、實(shí)時(shí)數(shù)據(jù)分析、高并發(fā)數(shù)據(jù)分析、探索式數(shù)據(jù)分析等多場(chǎng)景的極速分析,比上一代同類型產(chǎn)品快3—5倍。StarRocks采用新一代彈性MPP架構(gòu),無(wú)外部依賴,充分利用多機(jī)多核的能力,分布式關(guān)聯(lián)查詢能力強(qiáng)悍。

另一大創(chuàng)新是StarRocks從零開始實(shí)現(xiàn)了一個(gè)全新的CBO優(yōu)化器。優(yōu)化器對(duì)于數(shù)據(jù)庫(kù)而言至關(guān)重要,執(zhí)行引擎可以讓一個(gè)執(zhí)行計(jì)劃跑得更快,而好的優(yōu)化器能夠給出執(zhí)行代價(jià)最低,并能充分利用自身執(zhí)行引擎能力的執(zhí)行計(jì)劃。葉謙介紹,StarRocks自研的CBO優(yōu)化器應(yīng)用到了如表達(dá)式重寫,表達(dá)式復(fù)用,共同謂詞提取,謂詞下推,聚合下推,列裁剪,分區(qū)裁剪,shuffle裁剪,子查詢改寫,Join順序調(diào)整等等優(yōu)化方法。使用了全新的CBO優(yōu)化器后在SSB標(biāo)準(zhǔn)測(cè)試上的性能表現(xiàn)提升了3—5倍。在TPC-H測(cè)試集上,同樣是以外表的方式查詢Hive數(shù)據(jù),性能比Presto快5倍以上。

目前,StarRocks已經(jīng)在多個(gè)行業(yè)領(lǐng)域落地。貝殼找房的OLAP平臺(tái)是貝殼找房數(shù)字化運(yùn)營(yíng)的基石,在數(shù)據(jù)平臺(tái)中占據(jù)著非常重要的位置。在上線StarRocks之前,為了滿足不同數(shù)據(jù)分析場(chǎng)景的需求,貝殼上線了多套數(shù)據(jù)分析系統(tǒng),包括Impala、Presto、Kylin、Druid、ClickHouse、Hive等,不同系統(tǒng)對(duì)應(yīng)不同的數(shù)據(jù)分析需求。即便花了那么多時(shí)間和精力,貝殼在數(shù)據(jù)分析方面依然存在不少痛點(diǎn):對(duì)歷史數(shù)據(jù)的實(shí)時(shí)更新支持弱、多表Join支持能力差、無(wú)法同時(shí)支持明細(xì)和聚合查詢、整體的運(yùn)維復(fù)雜度很高等。在使用了StarRocks之后,貝殼以上的痛點(diǎn)問(wèn)題,都得到了解決,據(jù)悉貝殼現(xiàn)在正在逐步將OLAP數(shù)據(jù)分析場(chǎng)景全部統(tǒng)一到StarRocks上來(lái)。

不到兩年的時(shí)間,StarRocks已經(jīng)取得了一些不錯(cuò)的成績(jī),未來(lái),StarRocks在產(chǎn)品方面將不斷強(qiáng)化,比如將設(shè)計(jì)全新的實(shí)時(shí)和離線融合的原生架構(gòu),可以同時(shí)高效地管理實(shí)時(shí)數(shù)據(jù)和離線數(shù)據(jù)。設(shè)計(jì)全新的流批融合向量化引擎,同時(shí)具備極速處理批的能力和流的能力等。

除了強(qiáng)化數(shù)據(jù)庫(kù)產(chǎn)品本身之外,數(shù)據(jù)庫(kù)生態(tài)建設(shè)也將是其發(fā)展重點(diǎn)。“一個(gè)比較成熟、比較好的數(shù)據(jù)庫(kù)產(chǎn)品,肯定是要有生態(tài)的廣泛支持,源代碼開放的產(chǎn)品其實(shí)對(duì)于生態(tài)合作伙伴的加入,以及別人給你提供一些生態(tài)方面支持會(huì)更加容易一些。”葉謙說(shuō)道,關(guān)于StarRocks的更多技術(shù)內(nèi)幕,StarRocks也會(huì)在公司10月30日舉辦的年度峰會(huì)上分享。

創(chuàng)業(yè)不易,面對(duì)質(zhì)疑最好的回應(yīng)是獲得更多客戶的認(rèn)可和長(zhǎng)足的發(fā)展。對(duì)于StarRocks而言,希望誠(chéng)如其名,在國(guó)產(chǎn)數(shù)據(jù)庫(kù)的春天里,仰望星空,一路走下去。

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無(wú)評(píng)論