“數(shù)據(jù)治理”這個(gè)10多年前就已經(jīng)出現(xiàn)的名稱,在最近這幾年時(shí)間一下子火了起來。不知何時(shí),江湖中流傳出了:“數(shù)字轉(zhuǎn)型、治理先行”的說法。
于是乎,我們看到:不僅是傳統(tǒng)提供數(shù)據(jù)倉(cāng)庫(kù)、BI、主數(shù)據(jù)管理、元數(shù)據(jù)管理、數(shù)據(jù)集成等數(shù)據(jù)服務(wù)的軟件供應(yīng)商在說數(shù)據(jù)治理,“BATJ”等互聯(lián)網(wǎng)公司,大型國(guó)企、央企也都在談數(shù)據(jù)治理,很多企業(yè)都將數(shù)據(jù)治理作為數(shù)智化戰(zhàn)略的一項(xiàng)必要舉措,列入了企業(yè)的戰(zhàn)略行動(dòng)計(jì)劃。
在眾多談?wù)摂?shù)據(jù)治理的企業(yè)或個(gè)人中,筆者發(fā)現(xiàn)大家對(duì)數(shù)據(jù)治理有著一個(gè)普遍的共識(shí),那就是:“數(shù)據(jù)治理說起來容易,做起來難”!
01、為什么要做數(shù)據(jù)治理,真的想透了嗎?
在做數(shù)據(jù)治理咨詢的過程中,經(jīng)常會(huì)遇到以下對(duì)話場(chǎng)景:
請(qǐng)問你們?yōu)槭裁匆鰯?shù)據(jù)治理?
常見回答:我們要建立數(shù)據(jù)標(biāo)準(zhǔn),提升數(shù)據(jù)質(zhì)量,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)統(tǒng)一管理。
接著問:為什么要建立數(shù)據(jù)標(biāo)準(zhǔn)、提升數(shù)據(jù)質(zhì)量,不做會(huì)怎樣?
常見回答:數(shù)據(jù)質(zhì)量問題比較多,無法提供準(zhǔn)確的數(shù)據(jù)報(bào)表,影響業(yè)務(wù)效率,無法支撐企業(yè)的數(shù)字化轉(zhuǎn)型。
再次問:都影響到了哪些數(shù)據(jù)報(bào)表、哪些業(yè)務(wù)?
常見回答:XX報(bào)表不準(zhǔn)確、統(tǒng)計(jì)口徑不一致、系統(tǒng)之間數(shù)據(jù)孤島,數(shù)據(jù)集成困難……吧啦吧啦……
接著追問:為什么會(huì)造成數(shù)據(jù)報(bào)表不準(zhǔn)確,口徑不一致,系統(tǒng)集成難?
常見回答:因?yàn)閿?shù)據(jù)標(biāo)準(zhǔn)一致,數(shù)據(jù)源的數(shù)據(jù)質(zhì)量差。
到此為止,采用咨詢常用的5Why分析法,似乎已經(jīng)get出了數(shù)據(jù)治理的現(xiàn)狀和目標(biāo)。我們將其總結(jié)下:通過數(shù)據(jù)治理實(shí)現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)準(zhǔn)化、提高數(shù)據(jù)質(zhì)量、提升業(yè)務(wù)處理的效率,為數(shù)據(jù)分析提供準(zhǔn)確的數(shù)據(jù)支撐,賦能業(yè)務(wù),助力企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。
但是,我們仔細(xì)分析這樣的調(diào)研結(jié)果是浮于表面的,圍繞數(shù)據(jù)的問題在原地打轉(zhuǎn),沒有將為什么要做數(shù)據(jù)治理真正想透。
數(shù)據(jù)要產(chǎn)生價(jià)值,需要一個(gè)合理的“業(yè)務(wù)目標(biāo)”,數(shù)據(jù)治理的所有活動(dòng)應(yīng)該圍繞真實(shí)的業(yè)務(wù)目標(biāo)而開展,建立數(shù)據(jù)標(biāo)準(zhǔn)、提升數(shù)據(jù)質(zhì)量只是手段,而不是目標(biāo)。因此數(shù)據(jù)治理的第一步不是分析數(shù)據(jù)問題,而是分析業(yè)務(wù)問題,找到企業(yè)的核心業(yè)務(wù)訴求,定義數(shù)據(jù)治理的目標(biāo)和范圍。
02、數(shù)據(jù)治理不是什么高大上的東西,基本是臟活、累活!
數(shù)據(jù)治理很火,在DAMA數(shù)據(jù)管理知識(shí)體系指南中,數(shù)據(jù)治理位于數(shù)據(jù)管理“車輪圖”的正中央,是數(shù)據(jù)架構(gòu)、數(shù)據(jù)建模、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理等10大數(shù)據(jù)管理領(lǐng)域的總綱,為各項(xiàng)數(shù)據(jù)管理活動(dòng)提供總體指導(dǎo)策略。
DAMA-DMBOK2.0數(shù)據(jù)管理車輪圖
談到數(shù)據(jù)治理,我們經(jīng)常講它是一個(gè)涉及到企業(yè)戰(zhàn)略、組織架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、管理規(guī)范、數(shù)據(jù)文化、技術(shù)工具的一個(gè)綜合體。沒有數(shù)據(jù)治理實(shí)踐經(jīng)驗(yàn)的,一定會(huì)認(rèn)為:哇,數(shù)據(jù)治理好“高大上”呀!又是戰(zhàn)略、又是標(biāo)準(zhǔn)、又是文化的,聽起來很高深嗎!
然而,只有你真正做過數(shù)據(jù)治理人才知道:數(shù)據(jù)治理不僅都是苦活、累活,還是個(gè)受累不討好,經(jīng)常背鍋,領(lǐng)導(dǎo)看不見價(jià)值的活。
都說數(shù)據(jù)是資產(chǎn),數(shù)據(jù)治理很重要。盡快大家都說數(shù)據(jù)治理很重要,領(lǐng)導(dǎo)也很重視,但在很多企業(yè)真正實(shí)施的過程中,卻總會(huì)遇到高層領(lǐng)導(dǎo)支持力度不足,業(yè)務(wù)部門人員配合不到位,數(shù)據(jù)治理的總是要給業(yè)務(wù)讓路等等問題。究其原因:領(lǐng)導(dǎo)說重視數(shù)據(jù),是真重視,還是嘴上說說?有沒有將其納入企業(yè)的戰(zhàn)略行動(dòng)計(jì)劃?
數(shù)據(jù)治理要定戰(zhàn)略、定制度、建組織,這是頂層策略,這每一項(xiàng)都牽一發(fā)而動(dòng)全身,都需要高層領(lǐng)導(dǎo)的大力支持和推動(dòng),業(yè)務(wù)部門和技術(shù)部門的緊密協(xié)同。
數(shù)據(jù)治理要立標(biāo)準(zhǔn)、理流程、清數(shù)據(jù),需要對(duì)每個(gè)數(shù)據(jù)域、數(shù)據(jù)實(shí)體、數(shù)據(jù)條目、數(shù)據(jù)項(xiàng)進(jìn)行梳理和標(biāo)準(zhǔn)化,甚至有時(shí)候需要人工逐條、逐字段的定義數(shù)據(jù)標(biāo)準(zhǔn)、核實(shí)數(shù)據(jù)質(zhì)量。數(shù)據(jù)治理人員不僅要有良好的數(shù)據(jù)思維,還要有足夠的細(xì)心、耐心和體力才能實(shí)現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量的不斷提升,打磨出適合企業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)。
數(shù)據(jù)治理過程中,有時(shí)候是不被理解的。數(shù)據(jù)治理是個(gè)地基性工程,人們看到的永遠(yuǎn)是數(shù)據(jù)應(yīng)用的“高樓大廈”,數(shù)據(jù)治理團(tuán)隊(duì)天天忙忙碌碌的,領(lǐng)導(dǎo)也不知道“這伙人”到底都在干啥?但是,只要數(shù)據(jù)出現(xiàn)問題,第一個(gè)被問責(zé)的就是數(shù)據(jù)治理團(tuán)隊(duì)。
03、數(shù)據(jù)治理不是一個(gè)“項(xiàng)目”,想要立竿見影的效果?難!
項(xiàng)目是一系列獨(dú)特的、復(fù)雜的并相互關(guān)聯(lián)的活動(dòng),這些活動(dòng)有著一個(gè)明確的目標(biāo)或目的,必須在特定的時(shí)間、預(yù)算、資源限定內(nèi),依據(jù)規(guī)范完成。
那么,數(shù)據(jù)治理是項(xiàng)目嗎?
是,當(dāng)然是。
不論是全面的資產(chǎn)管理,還是針對(duì)特定領(lǐng)域的數(shù)據(jù)治理,都需要組建項(xiàng)目團(tuán)隊(duì)、定義項(xiàng)目目標(biāo)和范圍、制定項(xiàng)目計(jì)劃、推進(jìn)項(xiàng)目實(shí)施、最后是項(xiàng)目總結(jié)和結(jié)案。數(shù)據(jù)治理有明確的目標(biāo),有特定范圍、質(zhì)量、成本、時(shí)間、資源要求,從定義上講數(shù)據(jù)治理當(dāng)然是項(xiàng)目。
但是,通過一個(gè)數(shù)據(jù)治理項(xiàng)目的實(shí)施,即使這個(gè)項(xiàng)目預(yù)算很大,周期很長(zhǎng),是否就能解決企業(yè)數(shù)據(jù)管理和使用中的各種問題?是否就能培養(yǎng)出企業(yè)的數(shù)據(jù)文化,轉(zhuǎn)變?nèi)藗兊臄?shù)字化思維?是否就能實(shí)現(xiàn)企業(yè)管理和業(yè)務(wù)模式的創(chuàng)新?
一定不可能!
數(shù)據(jù)治理的最終目標(biāo)是賦能業(yè)務(wù),提升數(shù)據(jù)價(jià)值。這是一個(gè)持續(xù)漫長(zhǎng)的運(yùn)營(yíng)過程,需要逐步完善、分步迭代,指望一步到位完成數(shù)據(jù)治理是不現(xiàn)實(shí)的。
項(xiàng)目型的數(shù)據(jù)治理,是不全面的,無延續(xù)性,能夠解決一時(shí)的數(shù)據(jù)問題,但很難獲得持續(xù)的數(shù)據(jù)價(jià)值。因此說,數(shù)據(jù)治理不是一個(gè)“項(xiàng)目”,而是一個(gè)持續(xù)運(yùn)營(yíng)的過程。我們也可以將這個(gè)過程,看作是由一個(gè)個(gè)數(shù)據(jù)治理“微項(xiàng)目”組成,連續(xù)的、螺旋上升的模型。一個(gè)項(xiàng)目的結(jié)案,不是企業(yè)數(shù)據(jù)治理的終點(diǎn),而是企業(yè)數(shù)據(jù)治理真正的起點(diǎn)!
04、做了數(shù)據(jù)治理,為什么數(shù)據(jù)質(zhì)量依然很差,咋辦?
一個(gè)網(wǎng)友留言:石老師,我們公司兩年前就做了數(shù)據(jù)治理,建立了數(shù)據(jù)治理平臺(tái),元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理等功能都有了,但是我們的數(shù)據(jù)質(zhì)量問題還是很多,導(dǎo)致花了很多錢建設(shè)的BI系統(tǒng)基本都沒人用,請(qǐng)問有什么好的方式解決?
這個(gè)問題,我沒有答復(fù)。原因是數(shù)據(jù)質(zhì)量差、BI用不起來,這個(gè)問題雖然常見,但是10家有相同問題的企業(yè)中,有9家的原因是不一樣的。在沒有經(jīng)過詳細(xì)調(diào)查,不了解具體背景的情況下,不敢貿(mào)然給出建議。
我們?cè)凇稊?shù)據(jù)治理系列5:數(shù)據(jù)質(zhì)量管理的正確打開方式》一文中,曾盤點(diǎn)了引發(fā)數(shù)據(jù)質(zhì)量問題的各種原因:有業(yè)務(wù)方面的數(shù)據(jù)定義不明確,也有技術(shù)方面的數(shù)據(jù)抽取不完整;有管理方面的崗位職責(zé)不清晰,也有執(zhí)行層面的數(shù)據(jù)操作不規(guī)范;有數(shù)據(jù)處理加工過程中出現(xiàn)了錯(cuò)誤,也有數(shù)據(jù)源本身就有問題;有數(shù)據(jù)治理系統(tǒng)功能有缺陷,也有系統(tǒng)強(qiáng)大但是沒人用……
做過了數(shù)據(jù)治理,企業(yè)的數(shù)據(jù)質(zhì)量就一定能提升嗎?其原意是要問:上過了數(shù)據(jù)治理系統(tǒng)或?qū)嵤┝藬?shù)據(jù)治理項(xiàng)目,為什么還會(huì)有數(shù)據(jù)質(zhì)量問題。
這個(gè)問題很復(fù)雜。正如上文中的項(xiàng)目型數(shù)據(jù)治理,點(diǎn)到為止,治標(biāo)不治本。有的企業(yè)認(rèn)為數(shù)據(jù)治理就是上一套強(qiáng)大的數(shù)據(jù)治理平臺(tái),只要平臺(tái)功能強(qiáng)大,就能管好數(shù)據(jù),這恰恰是陷入了另一個(gè)誤區(qū)——唯工具論,豈不知數(shù)據(jù)治理的本質(zhì)是管理數(shù)據(jù),而不是管理程序、腳本和任務(wù)。另外,還有很多企業(yè)是出現(xiàn)了數(shù)據(jù)問題,并且對(duì)業(yè)務(wù)造成很大影響之后才去進(jìn)行治理的——被動(dòng)式治理,失去了治理數(shù)據(jù)的主動(dòng)權(quán),常常是解決了一個(gè)問題又引出了更多的問題。
……
05、數(shù)據(jù)治理之道是什么,要怎么做?
前段時(shí)間,在網(wǎng)上看到一篇關(guān)于數(shù)據(jù)治理關(guān)鍵要素的總結(jié)文章,覺得寫的很好,引用過來,供大家參考:
數(shù)據(jù)治理需要體系建設(shè):為發(fā)揮數(shù)據(jù)價(jià)值需要滿足三個(gè)要素:合理的平臺(tái)架構(gòu)、完善的治理服務(wù)、體系化的運(yùn)營(yíng)手段。
根據(jù)企業(yè)的規(guī)模、所屬行業(yè)、數(shù)據(jù)量等情況選擇合適的平臺(tái)架構(gòu);治理服務(wù)需要貫穿數(shù)據(jù)全生命周期,保證數(shù)據(jù)在采集、加工、共享、存儲(chǔ)、應(yīng)用整個(gè)過程中的完整性、準(zhǔn)確性、一致性和實(shí)效性;運(yùn)營(yíng)手段則應(yīng)當(dāng)包括規(guī)范的優(yōu)化、組織的優(yōu)化、平臺(tái)的優(yōu)化以及流程的優(yōu)化等等方面。
數(shù)據(jù)治理需要夯實(shí)基礎(chǔ):數(shù)據(jù)治理需要循序漸進(jìn),但在建設(shè)初期至少需要關(guān)注三個(gè)方面:數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全。規(guī)范化的模型管理是保障數(shù)據(jù)可以被治理的前提條件,高質(zhì)量的數(shù)據(jù)是數(shù)據(jù)可用的前提條件,數(shù)據(jù)的安全管控是數(shù)據(jù)可以共享交換的前提條件。
數(shù)據(jù)治理需要IT賦能:數(shù)據(jù)治理不是一堆規(guī)范文檔的堆砌,而是需要將治理過程中所產(chǎn)生的的規(guī)范、流程、標(biāo)準(zhǔn)落地到IT平臺(tái)上,在數(shù)據(jù)生產(chǎn)過程中通過“以終為始”前向的方式進(jìn)行數(shù)據(jù)治理,避免事后稽核帶來各種被動(dòng)和運(yùn)維成本的增加。
數(shù)據(jù)治理需要聚焦數(shù)據(jù):數(shù)據(jù)治理的本質(zhì)是管理數(shù)據(jù),因此需要加強(qiáng)元數(shù)據(jù)管理和主數(shù)據(jù)管理,從源頭治理數(shù)據(jù),補(bǔ)齊數(shù)據(jù)的相關(guān)屬性和信息,比如:元數(shù)據(jù)、質(zhì)量、安全、業(yè)務(wù)邏輯、血緣等,通過元數(shù)據(jù)驅(qū)動(dòng)的方式管理數(shù)據(jù)生產(chǎn)、加工和使用。
數(shù)據(jù)治理需要建管一體化:數(shù)據(jù)模型血緣與任務(wù)調(diào)度的一致性是建管一體化的關(guān)鍵,有助于解決數(shù)據(jù)管理與數(shù)據(jù)生產(chǎn)口徑不一致的問題,避免出現(xiàn)兩張皮的低效管理模式。
最后的話
數(shù)據(jù)治理不是一蹴而就的,它是一個(gè)漫長(zhǎng)而持續(xù)的過程,沒有一針頂破天的訣竅,也沒有立竿見影的途徑。只有將數(shù)據(jù)治理變成一種常態(tài)化機(jī)制,就如同我們每天吃飯、睡覺一樣,形成一種習(xí)慣、一種文化、持之以恒、不忘初心、不懈努力,才能達(dá)到預(yù)期目標(biāo)。