本文來自人月聊IT,作者/何明璐。
今天準備再談下數(shù)據(jù)治理以及對數(shù)據(jù)治理框架的初步思考。
實際上我在前面談數(shù)據(jù)中臺和主數(shù)據(jù)管理的時候多少談到過數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)管理方面的內(nèi)容,但是更多的都是從IT系統(tǒng)和功能層面來談數(shù)據(jù)治理需求的最終實現(xiàn)。但是對于數(shù)據(jù)治理更多的首先是一個組織和管理問題,其次才是一個技術(shù)實現(xiàn)問題。
其次在談數(shù)據(jù)中臺的時候談到過數(shù)據(jù)資產(chǎn)管理,即數(shù)據(jù)治理本身就是對數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動集合(規(guī)劃,監(jiān)督和執(zhí)行)。同時在數(shù)據(jù)中臺一書里面提出數(shù)據(jù)資產(chǎn)管理是數(shù)據(jù)治理的升級版本,只是在傳統(tǒng)數(shù)據(jù)治理基礎(chǔ)上增加了數(shù)據(jù)價值管理和數(shù)據(jù)共享管理。
而在我國,由中國電子技術(shù)標準研究院牽頭,又給出DCMM數(shù)據(jù)管理能力成熟度模型,提煉出組織數(shù)據(jù)管理的八大能力,并將這八大能力劃分為八個共八個關(guān)鍵過程域,即:數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理、數(shù)據(jù)架構(gòu)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標準、數(shù)據(jù)生命周期。在這里又將數(shù)據(jù)治理域單列出來,更多是談組織,制度和流程的內(nèi)容。
數(shù)據(jù)治理究竟是什么?
重新先回歸下百度上對于數(shù)據(jù)治理這個詞的一些標準定義。
數(shù)據(jù)治理(Data Governance)是組織中涉及數(shù)據(jù)使用的一整套管理行為。由企業(yè)數(shù)據(jù)治理部門發(fā)起并推行,關(guān)于如何制定和實施針對整個企業(yè)內(nèi)部數(shù)據(jù)的商業(yè)應(yīng)用和技術(shù)管理的一系列政策和流程。
國際數(shù)據(jù)管理協(xié)會(DAMA)給出的定義:數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動集合。
國際數(shù)據(jù)治理研究所(DGI)給出的定義:數(shù)據(jù)治理是一個通過一系列信息相關(guān)的過程來實現(xiàn)決策權(quán)和職責分工的系統(tǒng),這些過程按照達成共識的模型來執(zhí)行,該模型描述了誰(Who)能根據(jù)什么信息,在什么時間(When)和情況(Where)下,用什么方法(How),采取什么行動(What)。
數(shù)據(jù)治理的最終目標是提升數(shù)據(jù)的價值,數(shù)據(jù)治理非常必要,是企業(yè)實現(xiàn)數(shù)字戰(zhàn)略的基礎(chǔ),它是一個管理體系,包括組織、制度、流程、工具。
前期對治理不重視導(dǎo)致后期大量管理行為
首先我們還是再回顧下數(shù)據(jù)治理為何越來越受到大家的重視。
簡單來說就是企業(yè)中的數(shù)據(jù)在支撐業(yè)務(wù)協(xié)同,支撐分析決策上出現(xiàn)了問題。這些問題包括了數(shù)據(jù)標準不統(tǒng)一,多個系統(tǒng)數(shù)據(jù)不一致,數(shù)據(jù)沒有Owner和責任部門,數(shù)據(jù)質(zhì)量不高導(dǎo)致最終基于數(shù)據(jù)分析結(jié)果也是錯誤的。
哪怕一個采購訂單,你會發(fā)現(xiàn)有些業(yè)務(wù)人員叫采購合同,有些叫采購訂單;或者在采購系統(tǒng)里面訂單名稱長度50,而在ERP系統(tǒng)里面長度100?;蛘哒f同一個供應(yīng)商你會發(fā)現(xiàn)在系統(tǒng)里面存在兩個名字,導(dǎo)致產(chǎn)生了兩套數(shù)據(jù)。
所以你可以看到數(shù)據(jù)類的問題包括了數(shù)據(jù)本身的組織制度,標準規(guī)范體系,流程建設(shè);也包括了IT系統(tǒng)支撐,更加包括了數(shù)據(jù)質(zhì)量提升,數(shù)據(jù)集成和共享。如果數(shù)據(jù)出問題一方面是影響到業(yè)務(wù)協(xié)同,一方面影響到最終的基于數(shù)據(jù)的分析決策。
在談企業(yè)數(shù)字化轉(zhuǎn)型的時候提到了三個關(guān)鍵點,即連接,數(shù)據(jù)和智能??梢钥吹綌?shù)據(jù)在里面起到關(guān)鍵的承上啟下的作用,智能化的產(chǎn)生必須依托數(shù)據(jù),那么數(shù)據(jù)本身能否高效,高質(zhì)量的滿足要求就是必須要去考慮和解決的問題。
所以參考了上面的數(shù)據(jù)治理,簡單總結(jié)就是:
數(shù)據(jù)治理是確定如何進行數(shù)據(jù)資產(chǎn)管理的組織制度,標準規(guī)范,流程支撐體系建設(shè)。即所有數(shù)據(jù)資產(chǎn)管理工作必須有章可循,這個依托就是數(shù)據(jù)治理體系和框架。
那實際現(xiàn)在數(shù)據(jù)治理是如何?
對于當前大部分企業(yè)的數(shù)據(jù)治理,實際上可以看到兩個關(guān)鍵的問題。
其一就是數(shù)據(jù)治理屬于問題驅(qū)動和后治理型,即都是數(shù)據(jù)在產(chǎn)生和使用,協(xié)同和共享的過程中發(fā)現(xiàn)了問題,才來考慮數(shù)據(jù)治理的內(nèi)容,這種問題驅(qū)動方式很難構(gòu)建完整的數(shù)據(jù)治理體系。更多的是建設(shè)大量的類似數(shù)據(jù)稽核類系統(tǒng),個人任務(wù)數(shù)據(jù)稽核系統(tǒng)本身就是一個反治理下的產(chǎn)物。
其二是希望通過IT系統(tǒng)建設(shè)來規(guī)范數(shù)據(jù)治理,這個雖然有點用,但是不全。比如我們做MDM主數(shù)據(jù)系統(tǒng),會減少類似元數(shù)據(jù)管理,數(shù)據(jù)質(zhì)量管理,數(shù)據(jù)創(chuàng)建變更流程等。但是要看到系統(tǒng)本身僅僅是治理規(guī)范要求的落地,如果你沒有事先形成治理規(guī)范要求,那么系統(tǒng)再多也沒用。
現(xiàn)在有很多做主數(shù)據(jù)管理或數(shù)據(jù)管理平臺的IT其一給出數(shù)據(jù)治理架構(gòu),可以看到這些僅僅是系統(tǒng)IT功能的實現(xiàn)點,如果深究漏洞百出。
也正是這個原因,需要重新來梳理和思考數(shù)據(jù)治理體系和框架問題,數(shù)據(jù)治理本身的核心究竟在哪里,其概念模型和核心要素是什么?
狹義數(shù)據(jù)治理即核心
要理解數(shù)據(jù)治理,還是要回歸到對數(shù)據(jù)治理的一個狹義定義,即:數(shù)據(jù)治理組織包括組織架構(gòu)、崗位設(shè)置、團隊建設(shè)、數(shù)據(jù)責任等內(nèi)容,是各項數(shù)據(jù)職能工作開展的基礎(chǔ)。對組織在數(shù)據(jù)管理和數(shù)據(jù)應(yīng)用行使職責規(guī)劃和控制,并指導(dǎo)各項數(shù)據(jù)職能的執(zhí)行,以確保組織能有效落實數(shù)據(jù)戰(zhàn)略目標。
簡單來說就是先確定對數(shù)據(jù)進行管理的組織,崗位角色,人員和制度標準。
大部分企業(yè)實際上對這塊是缺失的,或者沒有進行清晰的定義。任何一個數(shù)據(jù)首先要確定的是誰來產(chǎn)生,誰來使用,誰來管理的責權(quán)利問題;其次才是確定數(shù)據(jù)產(chǎn)生的時候基于什么標準和流程,最后才是這些標準流程是否通過IT系統(tǒng)來固化。
也就是說,數(shù)據(jù)治理核心首先是建立數(shù)據(jù)治理管控體系,確定基于數(shù)據(jù)的責權(quán)利。
對于數(shù)據(jù)治理管控體系內(nèi)容可以參考下圖:
該圖基本給出了一個完整的數(shù)據(jù)治理管控體系所涉及到的技術(shù),標準,規(guī)范,流程支撐,同時也包括了執(zhí)行和評估體系,以實現(xiàn)數(shù)據(jù)的持續(xù)改進和閉環(huán)管理。
數(shù)據(jù)-產(chǎn)生,使用和管理
一套到數(shù)據(jù)治理,必須先談組織體系,在組織體系里面需要確定對數(shù)據(jù)進行管理的責權(quán)利,即數(shù)據(jù)的產(chǎn)生者,使用者,擁有者和管理者。
比如經(jīng)??吹降牟少徲唵谓蟹ú灰恢?,現(xiàn)在訂單名稱長度不夠需要進行擴展,這些究竟應(yīng)該找誰解決?很多企業(yè)往往一個電話就讓IT人員后臺修改,這些都是屬于嚴重不規(guī)范操作。其問題的本質(zhì)還是缺失對數(shù)據(jù)責任邊界的定義。
數(shù)據(jù)的產(chǎn)生者往往不一定是數(shù)據(jù)的Owner或擁有者,比如我通過供應(yīng)商門戶,供應(yīng)商錄入了相關(guān)的基本信息,這個時候供應(yīng)商是數(shù)據(jù)產(chǎn)生者,但是數(shù)據(jù)擁有者是采購部門。其次對于數(shù)據(jù)擁有者和管理者往往也不一定統(tǒng)一,比如一個會計科目主數(shù)據(jù),數(shù)據(jù)的擁有者是財務(wù)部門,但是最終對該數(shù)據(jù)的管理是獨立的數(shù)據(jù)管理部門。
數(shù)據(jù)使用者是另外一個關(guān)鍵內(nèi)容,但個數(shù)據(jù)在自己業(yè)務(wù)系統(tǒng)或部門的使用往往自己就能夠解決,因此數(shù)據(jù)使用更多談的是跨部門,那么跨部門數(shù)據(jù)使用應(yīng)該遵循什么標準,流程,安全控制要求。比如公司的采購訂單數(shù)據(jù),能不能共享給營銷部門使用?這些就需要有明確的規(guī)則定義。
比如我們在主數(shù)據(jù)項目實施里面,也經(jīng)常提到首先要建立數(shù)據(jù)管控體系,建設(shè)數(shù)據(jù)管控委員會,并確定數(shù)據(jù)的產(chǎn)生者,使用者和管理者等,如下:
數(shù)據(jù)管控體系展開
前面基本是從組織,規(guī)范和流程角度來談數(shù)據(jù)治理體系的建設(shè)。數(shù)據(jù)治理本質(zhì)是要解決如何對數(shù)據(jù)進行管理的問題。這個既涉及到數(shù)據(jù)標準規(guī)范,數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的內(nèi)容。同時也涉及到對數(shù)據(jù)進行創(chuàng)建,變更,廢棄等內(nèi)容管理的流程定義。
即我們在進行數(shù)據(jù)管理體系和數(shù)據(jù)技術(shù)體系制訂的時候,基本也是圍繞上面這些內(nèi)容展開形成一個完整的數(shù)據(jù)管控框架體系。
在這里可以參考下埃森哲給出的一個數(shù)據(jù)管控框架:
通過這個數(shù)據(jù)治理框架,基本覆蓋了工具技術(shù)支撐,組織,流程,數(shù)據(jù)標準,數(shù)據(jù)質(zhì)量,數(shù)據(jù)安全,數(shù)據(jù)評價和考核體系等各個方面的內(nèi)容。
DCMM數(shù)據(jù)成熟度模型
DCMM由中國電子技術(shù)標準化研究院牽頭,人民大學、清華大學、建設(shè)銀行、光大銀行、華為、御數(shù)坊、阿里巴巴等單位起草,是國內(nèi)關(guān)于數(shù)據(jù)能力成熟度模型的一項國家標準,在制定的過程中充分吸取了國內(nèi)先進行業(yè)的發(fā)展經(jīng)驗(以金融業(yè)為主),結(jié)合了國際上DAMA(國際數(shù)據(jù)管理協(xié)會)《數(shù)據(jù)管理知識體系指南DMBOK》中的內(nèi)容。
DCMM是一個整合了標準規(guī)范、管理方法論、評估模型等多方面內(nèi)容的綜合框架,目標是提供一個全方位組織數(shù)據(jù)能力評估的模型。在模型的設(shè)計中,結(jié)合數(shù)據(jù)生命周期管理各個階段的特征,對數(shù)據(jù)管理能力進行了分析、總結(jié),提煉出組織數(shù)據(jù)管理的八大能力,并將這八大能力劃分為八個共八個關(guān)鍵過程域,
即:數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理、數(shù)據(jù)架構(gòu)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標準、數(shù)據(jù)生命周期,標準描述了每個過程域的建設(shè)目標和度量標準。
整個DCMM模型將企業(yè)數(shù)據(jù)管理成熟度分為五個等級,分別從上面8大能力詳細進行評估。當然在該書里面也給出了一個整體的數(shù)據(jù)管理成熟度等級說明如下:
這個等級實際上和CMMI標準的成熟度等級說明有差異,在這里關(guān)鍵說明下對于量化管理級,其中關(guān)鍵包括了兩點。其一是構(gòu)建了數(shù)據(jù)績效評估指標體系;其二是基于KPI指標體系能夠以數(shù)據(jù)驅(qū)動思維閉環(huán)持續(xù)改進。
在整個框架內(nèi)容里面單獨列出了數(shù)據(jù)治理,包括:
- 數(shù)據(jù)治理組織(組織,崗位角色,人員,績效)
- 數(shù)據(jù)制度建設(shè)(制度,發(fā)布,宣貫)
- 數(shù)據(jù)治理溝通
對于數(shù)據(jù)治理組織和制度容易理解,對于數(shù)據(jù)治理溝通書里面描述為:數(shù)據(jù)治理溝通旨在確保組織內(nèi)全部利益相關(guān)者都能及時了解相關(guān)政策、標準、流程、角色、職責、計劃的最新情況,開展數(shù)據(jù)管理和應(yīng)用相關(guān)的培訓,掌握數(shù)據(jù)管理相關(guān)的知識和技能。
在前面談為何進行數(shù)據(jù)治理時候已經(jīng)談到,數(shù)據(jù)治理目標是為了讓數(shù)據(jù)更好地服務(wù)于業(yè)務(wù),服務(wù)于企業(yè)分析決策。因此從這個角度來說,數(shù)據(jù)治理體系本身不僅僅是數(shù)據(jù)管理體系,還應(yīng)該包括數(shù)據(jù)應(yīng)用體系。
數(shù)據(jù)價值體系解決的是數(shù)據(jù)如何以服務(wù)化方式應(yīng)用和共享,創(chuàng)造價值的問題。
同時數(shù)據(jù)價值體系,還需要轉(zhuǎn)變思維,形成數(shù)據(jù)驅(qū)動的運營服務(wù)體系,即如何圍繞數(shù)據(jù)持續(xù)運營來產(chǎn)生價值,持續(xù)改進。這個和我前面在談數(shù)字化轉(zhuǎn)型的時候談到的數(shù)據(jù)驅(qū)動思維是一個關(guān)鍵思維轉(zhuǎn)變一致。因此數(shù)據(jù)治理體系本身應(yīng)該包括數(shù)據(jù)管理體系和數(shù)據(jù)價值體系兩個方面內(nèi)容。在DCMM模型里面可以看到數(shù)據(jù)服務(wù)和共享開放在數(shù)據(jù)應(yīng)用域得到了詳細描述。
數(shù)據(jù)治理框架重構(gòu)
基于前面的分析可以看到,對于數(shù)據(jù)治理來講核心仍然是涉及到組織,數(shù)據(jù)管理責權(quán)利的數(shù)據(jù)管控體系建設(shè),即首先要回答誰來管的問題,其次才是回答如何管的問題。簡單來說就是我們先搭建了數(shù)據(jù)組織體系,進行了崗位人員角色定義,那么接著就是對數(shù)據(jù)進行管理的執(zhí)行層面。
對于數(shù)據(jù)對象,仍然可以從靜態(tài)和動態(tài)兩個視角來看。
從靜態(tài)維度來看,數(shù)據(jù)本身有結(jié)構(gòu)有層次,數(shù)據(jù)和數(shù)據(jù)之間有關(guān)系,數(shù)據(jù)定義有模型,數(shù)據(jù)模型本身還可以定義元數(shù)據(jù)模型,這些內(nèi)容都屬于數(shù)據(jù)的靜態(tài)結(jié)構(gòu)視角。
從動態(tài)維度來看,數(shù)據(jù)本身也有生老病死,有生命周期,因此數(shù)據(jù)管理需要覆蓋數(shù)據(jù)從需求,設(shè)計,開發(fā),上線應(yīng)用,運維,退役的完整生命周期管理。
即可以理解為:靜態(tài)+動態(tài)兩個視角完成了對數(shù)據(jù)的基礎(chǔ)管理體系建設(shè)。但是對于數(shù)據(jù)治理包括了數(shù)據(jù)管理體系和數(shù)據(jù)價值創(chuàng)造體系。
因此在完成數(shù)據(jù)基礎(chǔ)管理后,我們還得看數(shù)據(jù)如何進一步價值創(chuàng)造。
數(shù)據(jù)在傳統(tǒng)的單個系統(tǒng)里面使用,支撐最基礎(chǔ)的業(yè)務(wù)協(xié)同和業(yè)務(wù)流程,這個當然也是價值創(chuàng)造。但是數(shù)據(jù)更大的價值,在于跨域的數(shù)據(jù)協(xié)同。這就涉及到數(shù)據(jù)的集成和整合,在數(shù)據(jù)整合后本身數(shù)據(jù)能夠以數(shù)據(jù)服務(wù)的方式進行能力開放和共享。
在數(shù)據(jù)朝上開放后,我們可以考慮進一步的數(shù)據(jù)應(yīng)用,數(shù)據(jù)分析和決策,包括基于數(shù)據(jù)分析進一步指導(dǎo)運營過程改進,業(yè)務(wù)流程改進,形成數(shù)據(jù)驅(qū)動的閉環(huán)機制。
而這個就是我們說的數(shù)據(jù)價值創(chuàng)造體系。
當把這點思考清楚后,我們對數(shù)據(jù)治理框架重新構(gòu)圖如下。
在整個框架體系中,我們將數(shù)據(jù)治理分為三層:
- 支撐體系層(組織,技術(shù)標準規(guī)范,流程)
- 管理體系層(靜態(tài)模型+動態(tài)生命周期)
- 價值體系層(共享+數(shù)據(jù)應(yīng)用)
在支撐體系層包括了數(shù)據(jù)治理的驅(qū)動源頭,即數(shù)據(jù)治理組織體系和責權(quán)利建設(shè),在明確這個后本身也分解為靜態(tài)和動態(tài)兩部分支撐。靜態(tài)支撐包括了技術(shù)體系,標準體系,規(guī)范體系;而動態(tài)支撐包括流程執(zhí)行體系,績效評估體系等。
在管理層首先要關(guān)注靜態(tài)和動態(tài)兩個維度。對于靜態(tài)核心是數(shù)據(jù)架構(gòu),在數(shù)據(jù)架構(gòu)中本身有包括了數(shù)據(jù)模型和元數(shù)據(jù)兩個部分內(nèi)容。該動態(tài)部分核心是數(shù)據(jù)生命周期管理,其中包括了數(shù)據(jù)創(chuàng)建,變更,廢棄等流程管理。同時圍繞靜態(tài)和動態(tài)生命周期還需要做好數(shù)據(jù)質(zhì)量管理,數(shù)據(jù)安全管理兩個縱向維度內(nèi)容。
在數(shù)據(jù)管理層做好后,需要對數(shù)據(jù)能力進行集成和共享,將數(shù)據(jù)服務(wù)能力開放為更多的應(yīng)用服務(wù),進一步實現(xiàn)數(shù)據(jù)價值,即數(shù)據(jù)應(yīng)用層。即數(shù)據(jù)應(yīng)用層包括了數(shù)據(jù)集成共享,數(shù)據(jù)服務(wù)開放,數(shù)據(jù)應(yīng)用分析三個關(guān)鍵內(nèi)容。