提到“數(shù)據(jù)中臺(tái)”四個(gè)字，很多人都會(huì)“不明覺(jué)厲”。有意思的是，國(guó)外并沒(méi)有“數(shù)據(jù)中臺(tái)”這個(gè)詞。為什么中國(guó)企業(yè)如此看重?cái)?shù)據(jù)中臺(tái)？中臺(tái)是如何產(chǎn)生、被發(fā)現(xiàn)，然后實(shí)現(xiàn)價(jià)值復(fù)用的？這是一個(gè)值得分析的現(xiàn)象！
數(shù)據(jù)中臺(tái)為什么重要？
不管企業(yè)業(yè)務(wù)規(guī)模大，還是?。徊还芄境闪⒌脑?，還是晚，或多或少地都會(huì)對(duì)數(shù)據(jù)進(jìn)行投資，除了基礎(chǔ)的數(shù)據(jù)系統(tǒng)建設(shè)，還包括數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)等。但實(shí)際上，這些已有的數(shù)據(jù)投入并沒(méi)有產(chǎn)生理想的業(yè)務(wù)價(jià)值。
為什么會(huì)出現(xiàn)這種現(xiàn)象？Gartner研究總監(jiān)孫鑫一語(yǔ)道破！在他看來(lái)，企業(yè)已有的數(shù)據(jù)投入是割裂狀態(tài)，有嚴(yán)重的數(shù)據(jù)孤島問(wèn)題。雖然，企業(yè)在后端已經(jīng)部署了大量與數(shù)據(jù)管理相關(guān)的應(yīng)用，但與前端數(shù)據(jù)消費(fèi)者以及與應(yīng)用之間存在著巨大的價(jià)值鴻溝。
有些企業(yè)為了實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型戰(zhàn)略目標(biāo)，只是借用了“數(shù)據(jù)湖”概念，采購(gòu)了“交易型數(shù)據(jù)庫(kù)”、“分析型數(shù)據(jù)庫(kù)”、“數(shù)倉(cāng)”等，并且會(huì)考慮未來(lái)幾年實(shí)現(xiàn)云轉(zhuǎn)型目標(biāo)，或者說(shuō)現(xiàn)在已經(jīng)在向“云化”方向發(fā)展。但由于企業(yè)規(guī)模不同、戰(zhàn)略目標(biāo)不同、對(duì)數(shù)字化的理解不一樣，它們對(duì)數(shù)據(jù)分析、數(shù)據(jù)庫(kù)、數(shù)據(jù)資產(chǎn)的投入順序也會(huì)千差萬(wàn)別。但相同的目標(biāo)是，企業(yè)建立數(shù)據(jù)中臺(tái)最直接的動(dòng)因是希望讓現(xiàn)有的數(shù)據(jù)投資產(chǎn)生價(jià)值。
然而，放眼市場(chǎng)，中國(guó)雖然有很多“中臺(tái)生意”，但真正只做數(shù)據(jù)整合的廠商卻不多。而當(dāng)企業(yè)做了大量BI、數(shù)據(jù)庫(kù)的工作后，才開(kāi)始意識(shí)到ETL的重要性。尤其是大數(shù)據(jù)時(shí)代，隨著企業(yè)數(shù)據(jù)量的持續(xù)增加，數(shù)據(jù)整合的需求就變得越來(lái)越強(qiáng)烈。所以，數(shù)據(jù)中臺(tái)解決方案的最首要任務(wù)是，通過(guò)數(shù)據(jù)整合實(shí)現(xiàn)數(shù)據(jù)的快速交付，并且還要找到真正可復(fù)用的數(shù)據(jù)，從根本上解決數(shù)據(jù)孤島問(wèn)題。
Gartner研究總監(jiān)孫鑫
如何建立數(shù)據(jù)中臺(tái)？
建數(shù)據(jù)中臺(tái)并不是一件容易的事情，失敗的數(shù)據(jù)中臺(tái)會(huì)給企業(yè)帶來(lái)負(fù)面效果，這也是“數(shù)據(jù)中臺(tái)干跑了很多CIO”的最重要原因。所以，在企業(yè)搭建數(shù)據(jù)中臺(tái)之前，要多問(wèn)自己幾個(gè)為什么。比如：我如何決定是否要做這件事兒？如果要做，最需要注意的問(wèn)題是什么……
Gartner建議，企業(yè)在部署數(shù)據(jù)中臺(tái)之前，先要從端到端的數(shù)據(jù)能力來(lái)評(píng)估，看看到底缺少哪一塊，而不是盲目上一個(gè)中臺(tái)。數(shù)據(jù)中臺(tái)一定在“技術(shù)成熟度曲線”的頂峰，雖然不管是BI廠商，還是數(shù)據(jù)庫(kù)廠商都稱(chēng)自己提供的是中臺(tái)解決方案，但作為選型決策者，一定要準(zhǔn)確判斷，找到能解決問(wèn)題的廠商，有時(shí)候選型過(guò)程可能比部署還難。
另外，如何與業(yè)務(wù)部門(mén)進(jìn)行深度溝通，也是上中臺(tái)前要考慮的最重要事項(xiàng)之一。因?yàn)?，企業(yè)的數(shù)據(jù)大多與核心業(yè)務(wù)系統(tǒng)有關(guān)，比如ERP、CRM；然后再考慮如何建立“數(shù)倉(cāng)”、“數(shù)據(jù)湖”，如果技術(shù)和業(yè)務(wù)不統(tǒng)一，這樣的“中臺(tái)”很難直擊痛點(diǎn)，產(chǎn)生價(jià)值。
很多人都認(rèn)為，數(shù)據(jù)中臺(tái)是一個(gè)技術(shù)問(wèn)題，其實(shí)更多時(shí)候是一種戰(zhàn)略決策。尤其對(duì)于大型互聯(lián)網(wǎng)企業(yè)來(lái)說(shuō)，數(shù)據(jù)中臺(tái)來(lái)自業(yè)務(wù)需求，業(yè)務(wù)部門(mén)希望對(duì)日益增長(zhǎng)的數(shù)據(jù)進(jìn)行有效管理，并利用這些數(shù)據(jù)指導(dǎo)決策。所以，好的數(shù)據(jù)分析團(tuán)隊(duì)?wèi)?yīng)該是“聯(lián)邦”關(guān)系，通過(guò)中央團(tuán)隊(duì)、中央IT人員，對(duì)數(shù)據(jù)分析進(jìn)行延展，確保企業(yè)數(shù)據(jù)擁有強(qiáng)一致性。同時(shí)，還要聯(lián)合業(yè)務(wù)側(cè)的成員，一起關(guān)注快速部署與價(jià)值輸出的問(wèn)題。
值得一提的是，搭建數(shù)據(jù)中臺(tái)，還要考慮以往數(shù)據(jù)資產(chǎn)投入產(chǎn)出比的問(wèn)題。要知道，無(wú)論企業(yè)做不做中臺(tái)，企業(yè)的業(yè)務(wù)量和數(shù)據(jù)量都在飛速增長(zhǎng)，對(duì)于早已投入生產(chǎn)的“數(shù)倉(cāng)、數(shù)據(jù)湖”的處理是企業(yè)在數(shù)字化轉(zhuǎn)型背景下，必須要解決的問(wèn)題。如果企業(yè)過(guò)去津津樂(lè)道的“數(shù)據(jù)資產(chǎn)”并沒(méi)有與現(xiàn)有業(yè)務(wù)實(shí)現(xiàn)共享，這其實(shí)是數(shù)據(jù)中臺(tái)在設(shè)計(jì)方面的“不完整”。如果企業(yè)把大量的時(shí)間都花在“尋找數(shù)據(jù)”上，而沒(méi)有用在“分析數(shù)據(jù)”上，這說(shuō)明沒(méi)有在投資回報(bào)率（ROI）上得到更好的體現(xiàn)。
讓數(shù)據(jù)中臺(tái)建設(shè)為業(yè)務(wù)賦能，其實(shí)有很多相應(yīng)的解決方案和實(shí)操工具。比如：通過(guò)“元數(shù)據(jù)”的自動(dòng)發(fā)現(xiàn)，企業(yè)可以搜索到更好的數(shù)據(jù)，找到更符合企業(yè)業(yè)務(wù)情境的數(shù)據(jù)，并轉(zhuǎn)化為企業(yè)智能生產(chǎn)的語(yǔ)意。換言之，我們通過(guò)“智能搜索”，可以讓企業(yè)快速尋找相關(guān)的“數(shù)據(jù)源”，讓藏在各個(gè)系統(tǒng)中的數(shù)據(jù)更直觀地遞送到用戶(hù)手中，最終不斷優(yōu)化和演進(jìn)，形成企業(yè)最核心的數(shù)據(jù)資產(chǎn)。
有哪些可落地的方案？
行文至此，有人可能會(huì)問(wèn)，數(shù)據(jù)中臺(tái)要想成功落地，有沒(méi)有可參考的模型？
Gartner把數(shù)據(jù)分析或者說(shuō)任何關(guān)于數(shù)據(jù)的投入，都分成了兩個(gè)維度。一個(gè)是從數(shù)據(jù)的角度看（也是IT的角度），分為“已知數(shù)據(jù)”和“未知數(shù)據(jù)”；另一個(gè)是從問(wèn)題的角度看（也是業(yè)務(wù)角度），分為“已知問(wèn)題”和“未知問(wèn)題”。
首先，很多企業(yè)建中臺(tái)是為了復(fù)用數(shù)據(jù)，并且把這些數(shù)據(jù)放在“數(shù)據(jù)資產(chǎn)庫(kù)”中，Gartner把這個(gè)數(shù)據(jù)資產(chǎn)庫(kù)稱(chēng)之為“數(shù)據(jù)目錄”，大多屬于“未知的數(shù)據(jù)”和“未知的問(wèn)題”。那么，問(wèn)題來(lái)了！“我過(guò)去做的數(shù)據(jù)自檢，難道不算數(shù)據(jù)目錄嗎？”當(dāng)然也算，只不過(guò)是IT導(dǎo)向！真正的數(shù)據(jù)目錄，應(yīng)該有業(yè)務(wù)部門(mén)參與，然后共同完善，實(shí)現(xiàn)業(yè)務(wù)語(yǔ)義的逐步凈化。
其次，通過(guò)ETL工具實(shí)現(xiàn)數(shù)據(jù)整合，包括數(shù)據(jù)的批處理、數(shù)據(jù)的復(fù)制、流數(shù)據(jù)管理等，解決的是“已知的數(shù)據(jù)”和“已知的問(wèn)題”。在數(shù)據(jù)整合過(guò)程中，要讓業(yè)務(wù)側(cè)用戶(hù)有獲得數(shù)據(jù)的能力，并產(chǎn)生實(shí)際價(jià)值。所以，數(shù)據(jù)中臺(tái)要具備自助部署能力，這一點(diǎn)非常重要，決定了數(shù)據(jù)中臺(tái)項(xiàng)目的成敗。
其三，是數(shù)據(jù)虛擬化，這是很多數(shù)據(jù)中臺(tái)解決方案或者產(chǎn)品欠缺的一點(diǎn)。所謂的“數(shù)據(jù)虛擬化”就是在數(shù)據(jù)還沒(méi)有或不用物理位置移動(dòng)的情況下，依舊可以在一個(gè)虛擬層進(jìn)行分析和應(yīng)用。一旦市場(chǎng)有了A廠商和B廠商的產(chǎn)品，企業(yè)想把這兩家廠商的數(shù)據(jù)源整合到數(shù)據(jù)中臺(tái)時(shí)，企業(yè)就需要通過(guò)“數(shù)據(jù)虛擬化”來(lái)實(shí)現(xiàn)，在虛擬層上完成可復(fù)用的數(shù)據(jù)能力建設(shè)。
基于這個(gè)模型，去選擇所需要的產(chǎn)品和解決方案，結(jié)果一定不會(huì)太差。只是，現(xiàn)在很多人都在提“數(shù)據(jù)智能”，這一概念是怎么來(lái)的？數(shù)據(jù)智能化和中臺(tái)有哪些相關(guān)性？
數(shù)據(jù)智能化和中臺(tái)是什么關(guān)系？
其實(shí)，數(shù)據(jù)呈智能化方向發(fā)展，還是和企業(yè)的業(yè)務(wù)變化密切相關(guān)。過(guò)去，企業(yè)的很多決策都由領(lǐng)導(dǎo)人“拍腦袋”決定。但是，隨著企業(yè)業(yè)務(wù)的規(guī)?；l(fā)展，業(yè)務(wù)決策不再是一個(gè)人的事情，而是由數(shù)據(jù)決定，需要幾個(gè)部門(mén)共同決策。
更準(zhǔn)確的說(shuō)法是，在數(shù)據(jù)驅(qū)動(dòng)下，業(yè)務(wù)決策不僅不再是一次性行為，還要強(qiáng)調(diào)連接和連續(xù)性，要更具情境化。
如果用一句話總結(jié)，就是企業(yè)決策不再是“一碼通吃”，而是需要把更多小決策關(guān)聯(lián)起來(lái)，形成一個(gè)大決策；同時(shí)，前一個(gè)決策還會(huì)影響后面的決策，所有決策都要通過(guò)情境化的分析能力作為輔助。這時(shí)，以知識(shí)圖譜為代表的產(chǎn)品，就成為數(shù)據(jù)智能化的重要工具。
至于，“數(shù)據(jù)智能化”和“數(shù)據(jù)中臺(tái)”是怎樣一種關(guān)系？也并不難理解！數(shù)據(jù)智能化提升了數(shù)據(jù)中臺(tái)建設(shè)的難度！
企業(yè)在數(shù)據(jù)智能化背景下，數(shù)據(jù)中臺(tái)建設(shè)也要順應(yīng)形勢(shì)，滿(mǎn)足更高要求。首先，中臺(tái)要能夠連接更復(fù)雜的數(shù)據(jù)源；其次，要能夠根據(jù)用戶(hù)需求，給出更具情境化的數(shù)據(jù)；其三，能以更連接、更連續(xù)、更快速的形式，給決策者提供想要的數(shù)據(jù)。
不管是交易型數(shù)據(jù)庫(kù)、傳統(tǒng)數(shù)倉(cāng)、數(shù)據(jù)湖，還是云端數(shù)據(jù)存儲(chǔ)，企業(yè)在數(shù)據(jù)端的應(yīng)用非常豐富，構(gòu)成了屬于企業(yè)組織之上的一張“虛擬的網(wǎng)”。但是，虛擬化不應(yīng)該只是單純地把數(shù)據(jù)收集在一起，而是應(yīng)該以更具情境化的工具或者方案（知識(shí)圖譜）對(duì)數(shù)據(jù)進(jìn)行編織。在數(shù)據(jù)編織過(guò)程中，不僅涉及每個(gè)和消費(fèi)行為相關(guān)的數(shù)據(jù)，還包括元數(shù)據(jù)的管理與關(guān)聯(lián)。
從某種角度來(lái)說(shuō)，知識(shí)圖譜或圖技術(shù)的最核心內(nèi)容就是以業(yè)務(wù)視角來(lái)關(guān)聯(lián)數(shù)據(jù)，并且數(shù)據(jù)存儲(chǔ)是以“點(diǎn)”和“邊”的形式實(shí)現(xiàn)。過(guò)去，企業(yè)的中臺(tái)或者數(shù)據(jù)管理模式比較偏I(xiàn)T；但現(xiàn)在有了“圖”能力，企業(yè)可以對(duì)各個(gè)領(lǐng)域的業(yè)務(wù)進(jìn)行關(guān)聯(lián)，通過(guò)建模來(lái)統(tǒng)一數(shù)據(jù)交互語(yǔ)言。這是從采集和連接的角度，來(lái)看待數(shù)據(jù)智能化時(shí)代帶來(lái)的變化。
組裝式數(shù)據(jù)分析給企業(yè)帶來(lái)哪些價(jià)值？
接下來(lái)的問(wèn)題是，企業(yè)如何建立數(shù)據(jù)中臺(tái)才能滿(mǎn)足數(shù)據(jù)智能化時(shí)代的需求？Gartner認(rèn)為，組裝式數(shù)據(jù)分析架構(gòu)是中臺(tái)建設(shè)的未來(lái)方向！
組裝式分析架構(gòu)，是基于智能化的采集和連接，幫助用戶(hù)實(shí)現(xiàn)自助式分析。
什么意思呢？就是當(dāng)數(shù)據(jù)編織可以給用戶(hù)提供合適數(shù)據(jù)，能夠建立一些分析型應(yīng)用的時(shí)候，企業(yè)便可以通過(guò)組裝的形式把一個(gè)個(gè)和數(shù)據(jù)相關(guān)的產(chǎn)品直接整合，而不是每次都從“零”開(kāi)始。所以，中臺(tái)建設(shè)的最終目標(biāo)，其實(shí)是讓用戶(hù)基于數(shù)據(jù)進(jìn)行組裝。
所以，成功的數(shù)據(jù)中臺(tái)，應(yīng)該是一個(gè)組裝型能力平臺(tái)，帶來(lái)的是一個(gè)個(gè)和數(shù)據(jù)分析相關(guān)的能力，而不僅僅只是數(shù)據(jù)的復(fù)用。企業(yè)可以通過(guò)自助式分析，找到可復(fù)用的數(shù)據(jù)分析能力模塊，并以組裝的形式構(gòu)建符合業(yè)務(wù)需求的分析型應(yīng)用。
具體而言，組裝式分析架構(gòu)的底層依賴(lài)于數(shù)據(jù)編織設(shè)計(jì)模式，上一層是企業(yè)已購(gòu)買(mǎi)的類(lèi)似于“報(bào)表平臺(tái)、分析工作站、自助式分析平臺(tái)”或“數(shù)據(jù)科學(xué)平臺(tái)”，并且這些能力平臺(tái)被“微服務(wù)”以及“容器化”，以高度開(kāi)放性確保用戶(hù)上了中臺(tái)后，可以獲得組裝式體驗(yàn)。
此外，組裝式數(shù)據(jù)分析架構(gòu)的底層，還會(huì)涵蓋在應(yīng)用開(kāi)發(fā)過(guò)程中經(jīng)常用到的一個(gè)概念——DevOps。隨著企業(yè)應(yīng)用搭建的加快，或者說(shuō)建立數(shù)據(jù)產(chǎn)品需求的不斷上漲、越來(lái)越多地把DevOps實(shí)踐放到與數(shù)據(jù)相關(guān)的應(yīng)用上，業(yè)內(nèi)稱(chēng)之為DataOps。包括版本控制、持續(xù)集成、持續(xù)開(kāi)發(fā)、CAID理論等，在智能數(shù)據(jù)時(shí)代同樣適用，可以助力數(shù)據(jù)應(yīng)用開(kāi)發(fā)快速走向生產(chǎn)階段。
毫不夸張地說(shuō)，“組裝式數(shù)據(jù)分析”正在重塑數(shù)據(jù)分析應(yīng)用的未來(lái)，把數(shù)據(jù)中臺(tái)提升到一個(gè)新的高度。
