本文來自談數(shù)據(jù)。
數(shù)據(jù)治理是國外銀行業(yè)自90年代興起的概念，最開始的主要目標(biāo)是進(jìn)行客戶數(shù)據(jù)清理、完善數(shù)據(jù)標(biāo)準(zhǔn)、確保銀行數(shù)據(jù)的完整性，隨著銀行業(yè)務(wù)不斷拓展、數(shù)據(jù)及其相關(guān)理論逐步完善，數(shù)據(jù)治理的概念和方法在金融行業(yè)已經(jīng)達(dá)成了共識，即數(shù)據(jù)不但是有價值而且還是有競爭價值的資產(chǎn)，為了讓數(shù)據(jù)一致、準(zhǔn)確、及時地交付給數(shù)據(jù)使用者，最重要的是，為了讓數(shù)據(jù)能被使用者充分理解，企業(yè)必須要對現(xiàn)有的數(shù)據(jù)進(jìn)行治理。
數(shù)據(jù)治理體現(xiàn)了圍繞企業(yè)數(shù)據(jù)處理所進(jìn)行的數(shù)據(jù)質(zhì)量、數(shù)據(jù)管理、數(shù)據(jù)政策、業(yè)務(wù)流程管理與風(fēng)險管理等一系列實踐的融合。企業(yè)通過數(shù)據(jù)治理可以保證數(shù)據(jù)的可信性，并且對數(shù)據(jù)認(rèn)責(zé)的流程和方法可以施以積極主動的控制。數(shù)據(jù)治理需要以多種形式綜合使用各種技術(shù)手段來輔助治理流程，需要時要賦予相關(guān)人員以權(quán)力得用技術(shù)手段來建立流程。
PS：數(shù)據(jù)資產(chǎn)確權(quán)認(rèn)責(zé)，確什么權(quán)，認(rèn)什么責(zé)？
01數(shù)據(jù)不佳的根本原因
我們經(jīng)常會聽到數(shù)據(jù)使用者對數(shù)據(jù)的抱怨：
“我們有很多的重復(fù)數(shù)據(jù)”---沒有解決方案
“數(shù)字永遠(yuǎn)加不起來”---不同部門使用不同的代碼和統(tǒng)計口徑
“我的報告到達(dá)總是延遲，得到的總是過時的信息”---提供關(guān)鍵數(shù)據(jù)的接口經(jīng)常出錯
“我們永遠(yuǎn)不知道在哪里可以找到我們想要的信息”---缺乏對數(shù)據(jù)的理解
“我們不能同意對我們的考核指標(biāo)”---部門使用不同的標(biāo)準(zhǔn)來衡量他們的績效
“我怎樣才能獲得這個信息”---沒有明確的保密和安全流程而這些數(shù)據(jù)問題的來源是多方面的，業(yè)務(wù)和IT都會產(chǎn)生數(shù)據(jù)問題。下面顯示的是來自一個調(diào)研機構(gòu)的調(diào)查結(jié)果。
通過上面的調(diào)研結(jié)果，我們可以看到各種數(shù)據(jù)問題產(chǎn)生的主要原因包括：
76％數(shù)據(jù)錄入錯誤
53％源系統(tǒng)的變化
48％數(shù)據(jù)遷移或項目改建
46％用戶不同的期望
26％系統(tǒng)錯誤
今天，許多組織開始認(rèn)識到，為了把數(shù)據(jù)作為一項有價值的商業(yè)資產(chǎn)，或者甚至作為他們的財務(wù)資產(chǎn)，他們需要做一些更好的工作來管理這些數(shù)據(jù)。
現(xiàn)實的情況是，企業(yè)往往在口頭上承認(rèn)數(shù)據(jù)是企業(yè)的經(jīng)營資產(chǎn)。他們談?wù)搶嵤┙M織，標(biāo)準(zhǔn)，規(guī)則，流程和工具來管理和提高數(shù)據(jù)的需要，但未能實現(xiàn)，并支持他們。因此，數(shù)據(jù)的質(zhì)量就會大打折扣。
“我們用系統(tǒng)來管理我們業(yè)務(wù)的各個方面，卻沒有一個地方來管理系統(tǒng)本身”，如果企業(yè)數(shù)據(jù)管理流程失敗了，數(shù)據(jù)仍然會流經(jīng)我們的IT系統(tǒng)，但是這些數(shù)據(jù)將不會也不能自我管理！
雖然我們采取了相關(guān)的數(shù)據(jù)管理措施，如：數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)整合、元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型和數(shù)據(jù)安全方面的管理。但是，流經(jīng)我們各個系統(tǒng)的數(shù)據(jù)的可信度，完整性，安全性還是得不到保證的。因為數(shù)據(jù)質(zhì)量問題的根本原因是：缺乏數(shù)據(jù)政策，數(shù)據(jù)標(biāo)準(zhǔn)，指導(dǎo)原則和規(guī)則，缺乏工具和流程。
02數(shù)據(jù)問題制約了業(yè)務(wù)的快速發(fā)展
一份研究機構(gòu)所作的調(diào)研結(jié)果是：47％的決策者對數(shù)據(jù)沒有信心；59％的決策者遇到缺失的數(shù)據(jù)；42％的決策者知道，他們使用了錯誤的信息。因此，數(shù)據(jù)問題將制約業(yè)務(wù)的快速發(fā)展，導(dǎo)致企業(yè)缺乏競爭力。
1、數(shù)據(jù)質(zhì)量缺陷將導(dǎo)致：
•由于財務(wù)報表上的有失準(zhǔn)確和數(shù)據(jù)之間的互相矛盾帶來更高的違規(guī)風(fēng)險
•由于客戶信息的有失準(zhǔn)確造成市場營銷的低效
•過度打擾客戶
2、數(shù)據(jù)模型缺陷將導(dǎo)致：
•不同業(yè)務(wù)和數(shù)據(jù)主題之間數(shù)據(jù)的定義不一致
•資源浪費：重復(fù)的數(shù)據(jù)對象和數(shù)據(jù)元素
•耗時的工作去找到你要找的數(shù)據(jù)。
•選擇了錯誤的數(shù)據(jù)來訪問
3、元數(shù)據(jù)管理缺陷將導(dǎo)致：
•尋找一個數(shù)據(jù)需要花費很長的時間
•由于認(rèn)識不足造成低效或錯誤的決策
•延長開發(fā)周期，提高培訓(xùn)成本
•由于對數(shù)據(jù)和業(yè)務(wù)規(guī)則缺乏信心造成低使用率
4、數(shù)據(jù)整合缺陷將導(dǎo)致：
•由于各系統(tǒng)之間數(shù)據(jù)互相矛盾或不能關(guān)聯(lián)帶來痛苦的數(shù)據(jù)比對
•由于缺乏統(tǒng)一的整合方法給項目帶來不必要的復(fù)雜性和不一致性
•重復(fù)建設(shè)，冗余復(fù)雜的接口，性能問題
5、主數(shù)據(jù)管理缺陷將導(dǎo)致：
•客戶和產(chǎn)品的缺乏標(biāo)準(zhǔn)或缺乏對應(yīng)會帶來客戶服務(wù)的問題
•延長了產(chǎn)品開發(fā)和導(dǎo)入的周期
•給深入了解客戶之間的關(guān)系和層級帶來困難
6、安全和隱私缺陷將導(dǎo)致：
•帶來不斷增加的合規(guī)風(fēng)險，分散或不一致的數(shù)據(jù)
•在客戶、合作方、和監(jiān)管機構(gòu)眼中銀行的信譽下降
•身份被盜用和授權(quán)被濫用的風(fēng)險
業(yè)界利用數(shù)據(jù)整合的優(yōu)勢推行信息導(dǎo)向經(jīng)營戰(zhàn)略是銀行在激烈的市場競爭中獲得競爭優(yōu)勢的最優(yōu)選擇。從全球多家銀行業(yè)的實踐經(jīng)驗來看，通過信息導(dǎo)向的經(jīng)營戰(zhàn)略取得成功的銀行通常具備下述特征：
以數(shù)據(jù)分析和數(shù)字化管理的理念貫徹整個機構(gòu)；
決策者藉由數(shù)據(jù)運用，找到駕馭及引導(dǎo)變革的機會與關(guān)鍵信息；
以數(shù)據(jù)為中心的業(yè)務(wù)流程設(shè)計覆蓋各個主要領(lǐng)域的管理需求；
建立數(shù)字化管理的組織文化，依據(jù)量化數(shù)據(jù)進(jìn)行決策，不論是新進(jìn)人員或具經(jīng)驗的銀行人員，均可基于一致的資料基礎(chǔ)上做出業(yè)務(wù)決策；
組織靈活有彈性，隨時能夠發(fā)展新的業(yè)務(wù)模式；能夠創(chuàng)造20-30%的經(jīng)濟效益。
03數(shù)據(jù)治理概念
數(shù)據(jù)治理這個名詞翻譯自英文Data Governance，有時也會被翻譯成“數(shù)據(jù)管控”。業(yè)界權(quán)威組織Gartner對數(shù)據(jù)治理定義是：數(shù)據(jù)治理是通過組織、制度、流程、技術(shù)的結(jié)合與實踐活動，用以管理、維護(hù)和開發(fā)作為企業(yè)信息資產(chǎn)的數(shù)據(jù)。治理不同于管理，管理是你做出的決定，治理就是為這些決定制定愿景，政策，標(biāo)準(zhǔn)，流程和規(guī)則。
治理是執(zhí)政的行為。它涉及到定義期望值，授予權(quán)力（決策權(quán)），并且對結(jié)果進(jìn)行驗證。
治理是統(tǒng)一的管理。有凝聚力的政策，指導(dǎo)，流程和規(guī)則，以確保我們在合適的時間，以正確的方式在做正確的事情。
治理將為企業(yè)建立一個愿景，并制定相應(yīng)的政策，企業(yè)愿景，指導(dǎo)原則，標(biāo)準(zhǔn)和規(guī)則，管理是確保這些政策，標(biāo)準(zhǔn)，原則和規(guī)則的實際應(yīng)用，并在新的和現(xiàn)有的系統(tǒng)中體現(xiàn)。治理把與業(yè)務(wù)戰(zhàn)略相關(guān)的決策和監(jiān)督與實際操作緊密聯(lián)系起來。
因此，數(shù)據(jù)治理也不同于數(shù)據(jù)管理（Data Management），數(shù)據(jù)管理更關(guān)注的是管理過程，例如數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理。而數(shù)據(jù)治理關(guān)注的是組織架構(gòu)、制度、流程這些管理要素的整合和執(zhí)行。
對于銀行來講，數(shù)據(jù)管理的內(nèi)容會有很多方面，而數(shù)據(jù)治理的內(nèi)容只有一個。因此數(shù)據(jù)治理可以理解為是對數(shù)據(jù)管理的管理。
近些年來，國內(nèi)多家銀行在數(shù)據(jù)治理領(lǐng)域也在做不斷的探索，很多大中型銀行都啟動了數(shù)據(jù)治理相關(guān)的咨詢項目和落地項目，但是在這些項目實踐中也發(fā)現(xiàn)，缺乏成熟的方法論、缺乏整體的治理框架、缺乏整體的實施路線圖，這些問題往往制約著數(shù)據(jù)治理工作的開展。
為了確保從數(shù)據(jù)中獲取商業(yè)價值，所有與數(shù)據(jù)和信息相關(guān)的治理需要協(xié)同運作。這意味著他們將承擔(dān)共同的責(zé)任，以確保正確的數(shù)據(jù)被傳送，并在正確的時間，以正確的方式，被正確的人員使用
IT治理。監(jiān)督選定的技術(shù)是否符合企業(yè)的IT基礎(chǔ)架構(gòu)，與經(jīng)過批準(zhǔn)的標(biāo)準(zhǔn)的技術(shù)和IT流程一致。
數(shù)據(jù)治理。確保了數(shù)據(jù)是正確的，數(shù)據(jù)的定義和使用是一致的，BI治理將確保數(shù)據(jù)以正確的方式展示，倉庫治理和IT治理通過確保倉庫和IT基礎(chǔ)架構(gòu)的有效性來支持?jǐn)?shù)據(jù)的正確交付。
數(shù)倉治理。指導(dǎo)和控制數(shù)據(jù)倉庫的管理，對DW的有效性和效率負(fù)責(zé)。IT治理政策（像IT支持政策，版本控制等）和數(shù)據(jù)治理流程（如數(shù)據(jù)分析和清潔）也應(yīng)適用于數(shù)據(jù)倉庫，使其高效和有效的。
BI治理。對商業(yè)智能（BI）和業(yè)務(wù)分析進(jìn)行管理控制，負(fù)責(zé)信息的正確使用和傳遞。
上圖顯示了不同的治理類型在EDW中的關(guān)系，從左到右：
1、左邊數(shù)據(jù)產(chǎn)生，及數(shù)據(jù)的輸入（手工）或數(shù)據(jù)創(chuàng)建（辦自動化/自動）。
數(shù)據(jù)治理：負(fù)責(zé)建立輸入或創(chuàng)建數(shù)據(jù)的政策、指導(dǎo)原則、標(biāo)準(zhǔn)和規(guī)則。
2.產(chǎn)生的數(shù)據(jù)存儲在運營系統(tǒng)中，支持報表或者被其他操作流程提取。
數(shù)據(jù)治理：負(fù)責(zé)在操作型系統(tǒng)中制定數(shù)據(jù)訪問和安全政策，以及在定義數(shù)據(jù)和數(shù)據(jù)建模時如何應(yīng)用標(biāo)準(zhǔn)。
IT治理：負(fù)責(zé)確保操作型系統(tǒng)持續(xù)可用，用戶可以輸入數(shù)據(jù)。
3.數(shù)據(jù)倉庫從不同的獨立的源系統(tǒng)中獲取
•數(shù)據(jù)治理：負(fù)責(zé)決定什么數(shù)據(jù)應(yīng)該被獲取，以及數(shù)據(jù)獲取的頻率。
•IT治理：負(fù)責(zé)決定數(shù)據(jù)獲取的技術(shù)，工具使用的條件以及文件格式，等等。
•倉庫治理：負(fù)責(zé)確保獲取數(shù)據(jù)時倉庫是可用的，以及數(shù)據(jù)提交（batch,file）的格式，等等。
4.獲取的數(shù)據(jù)存儲在數(shù)據(jù)倉庫的數(shù)據(jù)獲取層:
•數(shù)據(jù)治理：負(fù)責(zé)決定數(shù)據(jù)進(jìn)行整合之前是否進(jìn)行數(shù)據(jù)剖析（data profiling），是否額外的控制字段需要加入到數(shù)據(jù)結(jié)構(gòu)中。
•IT治理：負(fù)責(zé)確保IT基礎(chǔ)架構(gòu)已經(jīng)建立(數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)，倉庫服務(wù)器）。
•倉庫治理：負(fù)責(zé)決定多少歷史數(shù)據(jù)必須加載，哪些數(shù)據(jù)可以歸檔。
5.獲取的源數(shù)據(jù)經(jīng)過轉(zhuǎn)換進(jìn)入到數(shù)據(jù)整合層，數(shù)據(jù)整合層提供一個整合的數(shù)據(jù)視圖而不論數(shù)據(jù)的來源，整合層具有范式化的數(shù)據(jù)結(jié)構(gòu)來支持?jǐn)?shù)據(jù)在企業(yè)方位內(nèi)可以重用。
•數(shù)據(jù)治理：定義元數(shù)據(jù)管理政策，確保數(shù)據(jù)具有業(yè)務(wù)含義。
•IT治理：標(biāo)準(zhǔn)的數(shù)據(jù)建模工具。
•倉庫治理：負(fù)責(zé)確保DW容量規(guī)劃符合將來新的數(shù)據(jù)導(dǎo)入需要。
6.范式化和集成的數(shù)據(jù)需要在訪問層被“非范式化”，使得數(shù)據(jù)能夠目標(biāo)業(yè)務(wù)用戶訪問：
•數(shù)據(jù)治理：定義數(shù)據(jù)訪問政策，即定義什么角色可以訪問哪類數(shù)據(jù)。
•IT治理：定義開發(fā)訪問層組件的IT版本控制策略。
•倉庫治理：定義和監(jiān)控SLA協(xié)議，確保目前的性能和工作負(fù)載管理是最優(yōu)的。
•BI治理：制定訪問層業(yè)務(wù)元數(shù)據(jù)建立的指導(dǎo)原則和規(guī)則。
7.訪問層提供的數(shù)據(jù)發(fā)布到目標(biāo)系統(tǒng)（分析應(yīng)用和操作，立方體，報表，文件等），使信息消費。
8.對存儲在目標(biāo)系統(tǒng)的數(shù)據(jù)作進(jìn)一步的分析或決策（業(yè)務(wù)用戶或分析師）。
因此，數(shù)據(jù)治理是一個跨系統(tǒng)、跨業(yè)務(wù)部門和技術(shù)部門的系統(tǒng)工程，同時作為企業(yè)高階的規(guī)劃，數(shù)據(jù)治理的規(guī)劃通常是在企業(yè)發(fā)展戰(zhàn)略高層次的規(guī)劃指引下，結(jié)合IT治理規(guī)劃進(jìn)行。
04數(shù)據(jù)認(rèn)責(zé)概念
那么，誰對數(shù)據(jù)負(fù)責(zé)呢，有人會說：“不是IT負(fù)責(zé)嗎？”。但是通常IT對此沒有太大的幫助，除非他們具有以下的業(yè)務(wù)知識：
•能夠解釋在業(yè)務(wù)使用環(huán)境中需要的信息和可能用到的數(shù)據(jù)。
•識別受污染數(shù)據(jù)的根源和其他數(shù)據(jù)問題的根源
•解決數(shù)據(jù)問題
•從其他數(shù)據(jù)分離出干凈的數(shù)據(jù)，等等
IT是負(fù)責(zé)系統(tǒng)和基礎(chǔ)設(shè)施的，對數(shù)據(jù)認(rèn)責(zé)的人員應(yīng)該來自于業(yè)務(wù)部門，因為他們是系統(tǒng)的使用人員，知道什么是最好的數(shù)據(jù)。Gartner在2008年的一份報告中指出：“以提升數(shù)據(jù)質(zhì)量為己任的企業(yè)必須要指派數(shù)據(jù)管理人員。數(shù)據(jù)認(rèn)責(zé)若要成功，企業(yè)文化必須轉(zhuǎn)變，數(shù)據(jù)應(yīng)視為競爭性資產(chǎn)而非不得已而為之的手段。”
數(shù)據(jù)認(rèn)責(zé)的主要內(nèi)涵是確定數(shù)據(jù)治理工作的相關(guān)各方的責(zé)任和關(guān)系，包括數(shù)據(jù)治理過程中的決策、執(zhí)行、解釋、匯報、協(xié)調(diào)等活動的參與方和負(fù)責(zé)方，以及各方承擔(dān)的角色和職責(zé)等。
•數(shù)據(jù)認(rèn)責(zé)適用于所有參與其中的人員，如：管理和提升數(shù)據(jù)質(zhì)量的數(shù)據(jù)專家，當(dāng)錄入數(shù)據(jù)時需要了解數(shù)據(jù)政策和規(guī)則的業(yè)務(wù)用戶，當(dāng)數(shù)據(jù)變更或規(guī)則變更時需要知情的數(shù)據(jù)消費者，正在進(jìn)行數(shù)據(jù)開發(fā)項目需要清楚數(shù)據(jù)管理標(biāo)準(zhǔn)，指導(dǎo)方針，工具和流程的項目組成員。
•認(rèn)責(zé)制可以防止事情“遭忽略而產(chǎn)生缺陷/失敗”，這經(jīng)常存在于企業(yè)的責(zé)任認(rèn)定中。
•認(rèn)責(zé)制并不一定都在企業(yè)的高層人員，而是定位在最適當(dāng)?shù)乃剑灰@個人員能夠?qū)@項工作擔(dān)負(fù)起責(zé)任。
數(shù)據(jù)認(rèn)責(zé)要達(dá)到的目標(biāo)
•形成由數(shù)據(jù)治理負(fù)責(zé)部門牽頭的，全員參與的主動認(rèn)責(zé)文化，重視問題的溝通，能夠主動剖析和快速響應(yīng)出現(xiàn)的認(rèn)責(zé)問題；
•建立全行統(tǒng)一的認(rèn)責(zé)流程，認(rèn)責(zé)流程管理持續(xù)優(yōu)化；
•細(xì)化和落實各類數(shù)據(jù)認(rèn)責(zé)流程、管理辦法，并成功地將數(shù)據(jù)認(rèn)責(zé)納入企業(yè)績效考核體系當(dāng)中；
•執(zhí)行基于數(shù)據(jù)域的數(shù)據(jù)認(rèn)責(zé)模式，數(shù)據(jù)域的劃分清晰且合理，理清各部門、各小組以及各參與人所承擔(dān)的角色職責(zé)，在全行推廣數(shù)據(jù)認(rèn)責(zé)。
下圖顯示了一個數(shù)據(jù)問題管理流程，在這個流程中我們可以看到數(shù)據(jù)認(rèn)責(zé)的四個主要的角色：
•數(shù)據(jù)使用者
需要理解數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)制度和規(guī)則，遵守和執(zhí)行數(shù)據(jù)治理相關(guān)的流程，根據(jù)數(shù)據(jù)的相關(guān)要求使用數(shù)據(jù)，并提出數(shù)據(jù)質(zhì)量問題。
•數(shù)據(jù)所有者
對數(shù)據(jù)資產(chǎn)負(fù)責(zé)，同時對數(shù)據(jù)管理的政策、標(biāo)準(zhǔn)、規(guī)則、流程負(fù)責(zé)，提供數(shù)據(jù)的業(yè)務(wù)需求，分配數(shù)據(jù)的使用權(quán)，解釋數(shù)據(jù)的業(yè)務(wù)規(guī)則和含義，執(zhí)行關(guān)于數(shù)據(jù)分類、訪問控制和數(shù)據(jù)管理的最終決策。
•數(shù)據(jù)提供者
負(fù)責(zé)按相關(guān)的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)制度和規(guī)則、業(yè)務(wù)操作流程的要求生產(chǎn)數(shù)據(jù)，并對生產(chǎn)數(shù)據(jù)的質(zhì)量負(fù)責(zé)。
•數(shù)據(jù)管理者
負(fù)責(zé)落實數(shù)據(jù)需求，對數(shù)據(jù)實施管理，保證數(shù)據(jù)的完整性、準(zhǔn)確性、一致性和隱私，負(fù)責(zé)數(shù)據(jù)的日常管理與維護(hù)。
