本文來自“大話數(shù)字化轉(zhuǎn)型”微信公眾號(hào)，作者/數(shù)字化劉老師。
數(shù)據(jù)治理，一直是數(shù)字化轉(zhuǎn)型工作中非常重要的話題，幾乎承載了數(shù)字化轉(zhuǎn)型戰(zhàn)略中最為重要的任務(wù)。
數(shù)據(jù)治理與數(shù)據(jù)管理不同，具有更強(qiáng)的有關(guān)數(shù)據(jù)價(jià)值開發(fā)的目的性！
1.大型企業(yè)數(shù)據(jù)治理之困境
數(shù)據(jù)治理，涉及的工作很多，比如數(shù)據(jù)溯源，數(shù)據(jù)異常識(shí)別，數(shù)據(jù)整改，數(shù)據(jù)質(zhì)量驗(yàn)證，數(shù)據(jù)對(duì)齊，元數(shù)據(jù)補(bǔ)全，數(shù)據(jù)回收等等。歸根結(jié)底，數(shù)據(jù)治理的目的就是一件事——提高數(shù)據(jù)的可用性。
通過治理，把數(shù)據(jù)的“混亂度”降低，使不可用的數(shù)據(jù)變?yōu)榭捎茫共缓糜玫臄?shù)據(jù)變得好用，使沒意義的數(shù)據(jù)變得有價(jià)值。
數(shù)據(jù)治理說起來重要，但是在具體實(shí)操中，往往也是讓諸多企業(yè)最為“犯難”，尤其是大型集團(tuán)型企業(yè)，由于業(yè)務(wù)規(guī)模龐大，同時(shí)歷史包袱很重，經(jīng)常遇到“老業(yè)務(wù)治不完，新業(yè)務(wù)跟不上”，或是“前治后亂”的困窘。
數(shù)據(jù)治理對(duì)于資源的消耗非常大，很多企業(yè)的數(shù)據(jù)治理成效并不明顯，因此數(shù)據(jù)治理活動(dòng)也是最容易受到“詬病”的數(shù)字化工作之一。
2.數(shù)據(jù)治理的源端管控
狹義的數(shù)據(jù)治理，往往是指對(duì)存量數(shù)據(jù)問題進(jìn)行整改處理，由于企業(yè)的數(shù)據(jù)不斷積累，如果數(shù)據(jù)治理的技術(shù)手段、管理手段不夠先進(jìn)，很容易收效甚微。
因此，數(shù)據(jù)治理必須要控制住數(shù)據(jù)的“源頭”，在數(shù)據(jù)產(chǎn)生、數(shù)據(jù)錄入的環(huán)節(jié)就做好嚴(yán)格的管控。
如果數(shù)據(jù)是系統(tǒng)自動(dòng)產(chǎn)生的，那么就要結(jié)合新的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范，對(duì)源端系統(tǒng)進(jìn)行改造和升級(jí)。
如果數(shù)據(jù)是人為手工錄入的，那么就要加強(qiáng)對(duì)數(shù)據(jù)責(zé)任人的管理，一是在職責(zé)上明確每個(gè)基層人員的數(shù)據(jù)管理責(zé)任，并與考核掛鉤；二是加強(qiáng)對(duì)人員錄入信息的數(shù)字化交叉驗(yàn)證。
還有一些數(shù)據(jù)，是通過系統(tǒng)運(yùn)算生成的，即計(jì)算類、報(bào)表類的數(shù)據(jù)，這些數(shù)據(jù)屬于二次加工數(shù)據(jù)，這些數(shù)據(jù)的問題可能在源頭就已經(jīng)被污染了，也可能是計(jì)算環(huán)節(jié)出了問題——這就要求對(duì)數(shù)據(jù)鏈路進(jìn)行監(jiān)控分析。
一是要保證數(shù)據(jù)鏈路貫通，數(shù)據(jù)同步與融合的相關(guān)操作穩(wěn)定，二是要核實(shí)數(shù)據(jù)計(jì)算邏輯是否正確，是否與最新的業(yè)務(wù)口徑保持一致。
3.提升治理技術(shù)尤為重要
除了在源頭控制以外，傳統(tǒng)的事后檢查的治理方式仍然很重要，尤其是針對(duì)一些短期內(nèi)無法解決的黑盒系統(tǒng)數(shù)據(jù)進(jìn)行治理的任務(wù)來說。
數(shù)據(jù)治理的基本對(duì)象是數(shù)據(jù)質(zhì)量，數(shù)據(jù)質(zhì)量的“六性”包括：完整性、及時(shí)性、準(zhǔn)確性、一致性、唯一性、有效性。針對(duì)這些原則，可以提前制定一定的數(shù)據(jù)質(zhì)量驗(yàn)證模型，判斷是否滿足這些質(zhì)量約束條件。
通過定期將數(shù)據(jù)質(zhì)量驗(yàn)證模型的代碼腳本運(yùn)行于業(yè)務(wù)數(shù)據(jù)庫中，可以自動(dòng)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量缺陷，動(dòng)態(tài)生成“待處理”的問題數(shù)據(jù)任務(wù)工單。
因此，提升數(shù)據(jù)治理技術(shù)本質(zhì)上就是驗(yàn)證模型的開發(fā)，驗(yàn)證模型有些可以基于經(jīng)驗(yàn)進(jìn)行總結(jié)，也有些可以構(gòu)建具有概率推斷能力的機(jī)器學(xué)習(xí)模型，或是專門針對(duì)治理任務(wù)的“專家系統(tǒng)”（Expert System）。
有些數(shù)據(jù)治理任務(wù)，在發(fā)現(xiàn)問題數(shù)據(jù)時(shí)，需要驗(yàn)證跨系統(tǒng)、跨表單之間的數(shù)據(jù)關(guān)系，為了降低腳本重復(fù)運(yùn)行和數(shù)據(jù)比對(duì)的工作量，相關(guān)的RPA機(jī)器人的設(shè)計(jì)和開發(fā)也是未來重要的數(shù)據(jù)治理支撐技術(shù)之一。
