數(shù)據(jù)中臺是中國本土誕生的一個名詞,很多企業(yè)在“什么是數(shù)據(jù)中臺”和“我要上XX中臺”徘徊。其炒作程度跟當年的“大數(shù)據(jù)” 一詞有的一拼,如果用Gartner的炒作周期圖來看,數(shù)據(jù)中臺目前已經(jīng)逼近炒作的頂峰。
與其不斷地討論什么是數(shù)據(jù)中臺,企業(yè)更應該了解建設數(shù)據(jù)中臺的目的是讓企業(yè)高效的數(shù)據(jù)驅動,減少重復的架構建設。如果要用一張圖來描繪Gartner如何看待數(shù)據(jù)中臺的建設方向,可以如下圖所示。
數(shù)據(jù)中臺的建設方向應該處于企業(yè)數(shù)字化平臺的核心,即Gartner定義的數(shù)據(jù)和分析平臺(紅色虛線部分),幫助企業(yè)的數(shù)字化平臺(客戶體驗平臺,生態(tài)系統(tǒng)平臺,物聯(lián)網(wǎng)平臺和內部信息系統(tǒng))的業(yè)務用戶做出更好的決策,并在各個數(shù)字化平臺的合作孵化下形成可復用的數(shù)據(jù)分析能力。數(shù)據(jù)分析能力應該在業(yè)務端無處不在且高度自助,最終助力數(shù)字化平臺實現(xiàn)Gartner定義的封裝的業(yè)務能力 (Packaged Business Capability)。
以下是Gartner對于想建設數(shù)據(jù)中臺企業(yè)的建議。
數(shù)據(jù)中臺中數(shù)據(jù)管理策略的平衡
上文提到的這么一個“大而全“的方向聽起來是挺美好,但很多企業(yè)在建設初期是沒有考慮過各個數(shù)字平臺對數(shù)據(jù)資產(chǎn)的可復用性或自服務性的(這也是很多企業(yè)為了建立數(shù)據(jù)中臺的初衷)。原因很簡單,一次性完成所有平臺的數(shù)字化本來就是不現(xiàn)實的,很多公司都是分階段進行的,特別是傳統(tǒng)企業(yè),很多業(yè)務干脆還沒有完成數(shù)字化,別說建設數(shù)據(jù)中臺了。阿里,騰訊這樣的數(shù)字化原生的企業(yè)建設中臺是十分有優(yōu)勢的,或者說數(shù)據(jù)中臺是這些企業(yè)在業(yè)務指數(shù)級增長的同時自然生長出來的產(chǎn)物。
另外數(shù)據(jù)作為數(shù)字業(yè)務的核心資產(chǎn)的價值被廣泛接受,企業(yè)最直 接的反應就是試圖在建立數(shù)字化平臺時將數(shù)據(jù)收集(Collect)起來,仿佛這才是實現(xiàn)業(yè)務價值的關鍵。例如,過去非常流行的數(shù)據(jù)湖,會將收集數(shù)據(jù)作為核心能力。但收集數(shù)據(jù)不一定能帶來商業(yè)價值,企業(yè)也沒有可能一口氣收集好全部數(shù)據(jù)。
以物聯(lián)網(wǎng)平臺為例,數(shù)據(jù)分布在網(wǎng)絡上、邊緣設備上、網(wǎng)關上、云端和傳統(tǒng)系統(tǒng)中。例如,需要自主行為的 "物"(如聯(lián)網(wǎng)汽車或風力發(fā)電機)必須有板載或網(wǎng)關上的數(shù)據(jù)和處理,以便對變化的情況做出即時反應。面向消費者的IoT解決方案(如用于健身追蹤的可穿戴設備)通常將數(shù)據(jù)存儲在云端進行分析。而且?guī)缀跛械腎oT解決方案還必須與傳統(tǒng)業(yè)務應用共享和整合數(shù)據(jù),以執(zhí)行客戶服務和長時間的性能分析。
另外,對實時(或 "近乎實時")集成的需求不斷增加引入了一個交付時間的要求,這讓最快的數(shù)據(jù)收集策略也無法滿足。在采取響應之前,操作流程在 "邊緣 "對數(shù)據(jù)采取行動與事先將所有的數(shù)據(jù)收集到集中存儲的位置的要求是不相容的。試圖收集所有這些物聯(lián)網(wǎng)數(shù)據(jù)再后續(xù)處理和使用,既不實際也不可行。
同時,保護個人身份信息的隱私法規(guī)也將阻礙數(shù)據(jù)的整體收集。因此,一些數(shù)據(jù)用例將需要連接(Connect)到數(shù)據(jù),而不僅僅是收集數(shù)據(jù)。
企業(yè)建設數(shù)據(jù)中臺絕不是把所有的數(shù)據(jù)全部收集在一個地方了再開始應用數(shù)據(jù),隨著數(shù)據(jù)的不斷涌入,用一種連接(Connect)的方式在數(shù)據(jù)原本存放的介質中重復利用數(shù)據(jù)才是數(shù)據(jù)中臺也該有的手段。收集數(shù)據(jù)和連接數(shù)據(jù)的平衡是現(xiàn)代化數(shù)據(jù)管理的的必要條件。數(shù)據(jù)虛擬化能力會是企業(yè)需要在保留已有數(shù)據(jù)庫,數(shù)據(jù)湖投入但又想建立數(shù)據(jù)中臺必須考慮的元素。重復或冗余的數(shù)據(jù)始終會存在,企業(yè)要建立的不是“single source of truth”而是“single source of trust”。
企業(yè)可以進一步參考Gartner提出的新一代數(shù)據(jù)管理設計原則Data Fabric去用于實現(xiàn)可復用和增強的數(shù)據(jù)集成服務、數(shù)據(jù)管道和語義層,以實現(xiàn)靈活的數(shù)據(jù)交付。
定位數(shù)據(jù)中臺為一個組織戰(zhàn)略促進合作
企業(yè)在漸進式數(shù)字化轉型時面臨的一個共同問題,他們各自為政,分別構建類似的解決方案,例如針對不同業(yè)務目的的數(shù)據(jù)分析模型,而這些模型具有共同的元素。在最好的情況下,這樣做會造成重復,但更多的情況下,這也會增加復雜性,因為這樣做會產(chǎn)生不同的點式解決方案,即使在單個業(yè)務內也無法溝通,更不用說在全公司的業(yè)務價值鏈上了。從這個角度來看,Gartner更推薦企業(yè)把數(shù)據(jù)中臺定性成一個組織戰(zhàn)略,把數(shù)據(jù)分析團隊作為數(shù)字化平臺建設必備的一個元素。Gartner也在2019年的《Gartner 數(shù)字化業(yè)務團隊問卷》中發(fā)現(xiàn),數(shù)據(jù)分析/商業(yè)智能是融合團隊(Fusion team)中除IT以外最常見的功能。
一個好的數(shù)據(jù)分析團隊是由集中的團隊和各條業(yè)務線上的分散團隊組成的。很多企業(yè)過分的關注于技術架構的建設而不是業(yè)務人員基于數(shù)據(jù)的合作,在一味追求新的數(shù)據(jù)分析技術棧的過程,忽略了對于組織戰(zhàn)略的調整以解決實際業(yè)務用戶的問題,把原來遺留的問題從數(shù)據(jù)倉庫移到了數(shù)據(jù)湖,再移到現(xiàn)在的津津樂道數(shù)據(jù)中臺,而不是解決它們,一個現(xiàn)代化的數(shù)據(jù)分析團隊應該是數(shù)據(jù)分析能力的賦能者,從管控數(shù)據(jù)能力到促進基于數(shù)據(jù)的合作。
業(yè)務場景出發(fā)整理已有的數(shù)據(jù)分析能力
企業(yè)在不斷建設自己數(shù)字化平臺時,早已投入了各種數(shù)據(jù)分析資產(chǎn),這個時候為了數(shù)據(jù)中臺這個新詞而放棄已經(jīng)建立的數(shù)倉,數(shù)據(jù)湖,數(shù)據(jù)整合平臺是沒有必要的,企業(yè)需要做的是把數(shù)據(jù)中臺作為一個組織戰(zhàn)略去聯(lián)合各個部門共同建設可復用且自服務性高的數(shù)據(jù)分析能力,通過業(yè)務流程到數(shù)字化平臺,自上而下(紅線)的去整理已有的數(shù)據(jù)分析能力。
大多數(shù)企業(yè)其實都已在做自下而上(藍線)的數(shù)據(jù)分析平臺,這本沒有錯,尤其是企業(yè)集中式的IT團隊已部署數(shù)倉,設計了ETL流程和報表系統(tǒng)。但是作為前線的業(yè)務獲得這些能力是被動的,久而久之,并不會存在業(yè)務主動要求提升自己的數(shù)據(jù)分析能力,畢竟業(yè)務作為企業(yè)內部的甲方,只提需求還是很爽的。
然而為了讓企業(yè)變得更數(shù)據(jù)驅動,或者說讓企業(yè)建的的數(shù)據(jù)中臺能被真正用起來,逼著業(yè)務從業(yè)務場景開始做數(shù)據(jù)分析是一條必經(jīng)之路,尤其在業(yè)務端才是能提出業(yè)務問題發(fā)起分析時刻(Analytics Moments)的一群人。
下圖就是一個典型的電商的業(yè)務場景,從業(yè)務端定義并梳理分析時刻,從技術棧尋找相對應的數(shù)據(jù)分析能力的過程。
分析時刻是Gartner定義的一種數(shù)據(jù)分析流程,通過對數(shù)據(jù)進行可視化、探索和應用算法,支持業(yè)務成果的交付,從而做出更好或更快的決策,實現(xiàn)業(yè)務流程的自動化。在這個例子中,數(shù)據(jù)分析能力(最右側)是被逐步建立起來的,他們的背后有大量的廠商可以被選擇,這些能力可以多大程度的被其他分析時刻復用,多低的門檻可以被業(yè)務應用,直接決定了數(shù)據(jù)中臺的成功。其中廠商的能力可以通過Gartner每年數(shù)據(jù)分析領域的九張《魔力象限(Magic Quadrant)》及配套的《關鍵能力(Critical Capability)》報告進行評估。
分析時刻的梳理往往是一個數(shù)據(jù)中臺建設最為棘手的部分,他一方面依賴供應商是否有業(yè)務咨詢的能力將業(yè)務場景梳理清楚,另外一方面也依賴企業(yè)自身的數(shù)據(jù)素養(yǎng)去不斷優(yōu)化對于數(shù)據(jù)分析能力的要求。企業(yè)可以借著建立數(shù)據(jù)中臺這個機會,分類整理已有的數(shù)據(jù)分析能力或試行新的數(shù)據(jù)分析能力,Gartner每年出的《Gartner Analytics Atlas》報告就可以像能力字典一樣去幫助企業(yè)分類與挑選。
數(shù)據(jù)分析能力整合到復用是一個創(chuàng)新的過程
通過剛才的例子我們也可以看見,電商場景的業(yè)務邏輯是很成熟且明確的,其背后數(shù)據(jù)分析能力也能很快的被重復應用上,然而可復用的數(shù)據(jù)分析能力是個非常主觀的概念,不一樣數(shù)據(jù)素養(yǎng)的團隊對于數(shù)據(jù)分析能力的要求是非常不同的,越簡單易用,也容易被別的業(yè)務場景給重復利用,不一樣的地方是數(shù)據(jù)的情景和用戶情景。如果數(shù)據(jù)中臺的輸出能力僅僅只是Data as a Service,即API的形式是遠遠無法讓業(yè)務可以直接使用的,從而降低了企業(yè)對數(shù)據(jù)分析應用的廣度。企業(yè)應該通過整合復用以豐富數(shù)據(jù)分析能力的輸出,隨著新技術的引入和融合團隊的建立,這無疑是個創(chuàng)新的過程。
例如,由機器學習為基礎的增強型數(shù)據(jù)分析和管理工具,就可以大大降低用戶的使用門檻(自然語言驅動的分析)并減少數(shù)據(jù)管理的工作量(主動利用元數(shù)據(jù)學習獲得用戶行為)。企業(yè)應該了解到利用增強型能力是為減少數(shù)據(jù)分析手動的部分,從而給用戶給多時間去構思業(yè)務如何使用數(shù)據(jù)。
圖譜分析(Graph)的引入也會更進一步幫助企業(yè)去探知利用率嚴重不足的數(shù)據(jù),圖譜可以發(fā)現(xiàn)企業(yè)數(shù)據(jù)與數(shù)據(jù)之間以及不同部門使用數(shù)據(jù)中被忽視或難以察覺的聯(lián)系,從而讓需要可復用的能力有據(jù)可尋,圖譜已經(jīng)變成了很多數(shù)據(jù)分析產(chǎn)品的基礎性技術。企業(yè)建立數(shù)據(jù)中臺,缺少的可能既不是數(shù)據(jù)的量(Quantity)也不是數(shù)據(jù)的質(Quality),而是數(shù)據(jù)之間的聯(lián)系。
如果企業(yè)建的數(shù)據(jù)中臺需要在技術的角度進一步讓企業(yè)減少重復開發(fā)的工作量但是提高數(shù)據(jù)分析的利用率,這些技術都是值得進一步去研究的。增強型數(shù)據(jù)管理和圖譜技術也是今年Gartner的十大數(shù)據(jù)分析技術之一。
最后可能要問各位企業(yè)高管的是,如果你真的擁有一個完美的數(shù)據(jù)中臺滿足您所有的技術期待,您企業(yè)員工的數(shù)據(jù)素養(yǎng)跟上了么?
(文:Gartner高級研究總監(jiān) 孫鑫)