數(shù)據(jù)治理與數(shù)據(jù)認(rèn)責(zé)概述

數(shù)據(jù)治理體現(xiàn)了圍繞企業(yè)數(shù)據(jù)處理所進(jìn)行的數(shù)據(jù)質(zhì)量、數(shù)據(jù)管理、數(shù)據(jù)政策、業(yè)務(wù)流程管理與風(fēng)險管理等一系列實踐的融合。企業(yè)通過數(shù)據(jù)治理可以保證數(shù)據(jù)的可信性,并且對數(shù)據(jù)認(rèn)責(zé)的流程和方法可以施以積極主動的控制。

QQ截圖20211119092508.png

本文來自談數(shù)據(jù)。

數(shù)據(jù)治理是國外銀行業(yè)自90年代興起的概念,最開始的主要目標(biāo)是進(jìn)行客戶數(shù)據(jù)清理、完善數(shù)據(jù)標(biāo)準(zhǔn)、確保銀行數(shù)據(jù)的完整性,隨著銀行業(yè)務(wù)不斷拓展、數(shù)據(jù)及其相關(guān)理論逐步完善,數(shù)據(jù)治理的概念和方法在金融行業(yè)已經(jīng)達(dá)成了共識,即數(shù)據(jù)不但是有價值而且還是有競爭價值的資產(chǎn),為了讓數(shù)據(jù)一致、準(zhǔn)確、及時地交付給數(shù)據(jù)使用者,最重要的是,為了讓數(shù)據(jù)能被使用者充分理解,企業(yè)必須要對現(xiàn)有的數(shù)據(jù)進(jìn)行治理。

數(shù)據(jù)治理體現(xiàn)了圍繞企業(yè)數(shù)據(jù)處理所進(jìn)行的數(shù)據(jù)質(zhì)量、數(shù)據(jù)管理、數(shù)據(jù)政策、業(yè)務(wù)流程管理與風(fēng)險管理等一系列實踐的融合。企業(yè)通過數(shù)據(jù)治理可以保證數(shù)據(jù)的可信性,并且對數(shù)據(jù)認(rèn)責(zé)的流程和方法可以施以積極主動的控制。數(shù)據(jù)治理需要以多種形式綜合使用各種技術(shù)手段來輔助治理流程,需要時要賦予相關(guān)人員以權(quán)力得用技術(shù)手段來建立流程。

PS:數(shù)據(jù)資產(chǎn)確權(quán)認(rèn)責(zé),確什么權(quán),認(rèn)什么責(zé)?

01數(shù)據(jù)不佳的根本原因

我們經(jīng)常會聽到數(shù)據(jù)使用者對數(shù)據(jù)的抱怨:

“我們有很多的重復(fù)數(shù)據(jù)”---沒有解決方案

“數(shù)字永遠(yuǎn)加不起來”---不同部門使用不同的代碼和統(tǒng)計口徑

“我的報告到達(dá)總是延遲,得到的總是過時的信息”---提供關(guān)鍵數(shù)據(jù)的接口經(jīng)常出錯

“我們永遠(yuǎn)不知道在哪里可以找到我們想要的信息”---缺乏對數(shù)據(jù)的理解

“我們不能同意對我們的考核指標(biāo)”---部門使用不同的標(biāo)準(zhǔn)來衡量他們的績效

“我怎樣才能獲得這個信息”---沒有明確的保密和安全流程而這些數(shù)據(jù)問題的來源是多方面的,業(yè)務(wù)和IT都會產(chǎn)生數(shù)據(jù)問題。下面顯示的是來自一個調(diào)研機構(gòu)的調(diào)查結(jié)果。

QQ截圖20211119092508.png

通過上面的調(diào)研結(jié)果,我們可以看到各種數(shù)據(jù)問題產(chǎn)生的主要原因包括:

76%數(shù)據(jù)錄入錯誤

53%源系統(tǒng)的變化

48%數(shù)據(jù)遷移或項目改建

46%用戶不同的期望

26%系統(tǒng)錯誤

今天,許多組織開始認(rèn)識到,為了把數(shù)據(jù)作為一項有價值的商業(yè)資產(chǎn),或者甚至作為他們的財務(wù)資產(chǎn),他們需要做一些更好的工作來管理這些數(shù)據(jù)。

現(xiàn)實的情況是,企業(yè)往往在口頭上承認(rèn)數(shù)據(jù)是企業(yè)的經(jīng)營資產(chǎn)。他們談?wù)搶嵤┙M織,標(biāo)準(zhǔn),規(guī)則,流程和工具來管理和提高數(shù)據(jù)的需要,但未能實現(xiàn),并支持他們。因此,數(shù)據(jù)的質(zhì)量就會大打折扣。

QQ截圖20211119092508.png

“我們用系統(tǒng)來管理我們業(yè)務(wù)的各個方面,卻沒有一個地方來管理系統(tǒng)本身”,如果企業(yè)數(shù)據(jù)管理流程失敗了,數(shù)據(jù)仍然會流經(jīng)我們的IT系統(tǒng),但是這些數(shù)據(jù)將不會也不能自我管理!

雖然我們采取了相關(guān)的數(shù)據(jù)管理措施,如:數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)整合、元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型和數(shù)據(jù)安全方面的管理。但是,流經(jīng)我們各個系統(tǒng)的數(shù)據(jù)的可信度,完整性,安全性還是得不到保證的。因為數(shù)據(jù)質(zhì)量問題的根本原因是:缺乏數(shù)據(jù)政策,數(shù)據(jù)標(biāo)準(zhǔn),指導(dǎo)原則和規(guī)則,缺乏工具和流程。

02數(shù)據(jù)問題制約了業(yè)務(wù)的快速發(fā)展

一份研究機構(gòu)所作的調(diào)研結(jié)果是:47%的決策者對數(shù)據(jù)沒有信心;59%的決策者遇到缺失的數(shù)據(jù);42%的決策者知道,他們使用了錯誤的信息。因此,數(shù)據(jù)問題將制約業(yè)務(wù)的快速發(fā)展,導(dǎo)致企業(yè)缺乏競爭力。

1、數(shù)據(jù)質(zhì)量缺陷將導(dǎo)致:

•由于財務(wù)報表上的有失準(zhǔn)確和數(shù)據(jù)之間的互相矛盾帶來更高的違規(guī)風(fēng)險

•由于客戶信息的有失準(zhǔn)確造成市場營銷的低效

•過度打擾客戶

2、數(shù)據(jù)模型缺陷將導(dǎo)致:

•不同業(yè)務(wù)和數(shù)據(jù)主題之間數(shù)據(jù)的定義不一致

•資源浪費:重復(fù)的數(shù)據(jù)對象和數(shù)據(jù)元素

•耗時的工作去找到你要找的數(shù)據(jù)。

•選擇了錯誤的數(shù)據(jù)來訪問

3、元數(shù)據(jù)管理缺陷將導(dǎo)致:

•尋找一個數(shù)據(jù)需要花費很長的時間

•由于認(rèn)識不足造成低效或錯誤的決策

•延長開發(fā)周期,提高培訓(xùn)成本

•由于對數(shù)據(jù)和業(yè)務(wù)規(guī)則缺乏信心造成低使用率

4、數(shù)據(jù)整合缺陷將導(dǎo)致:

•由于各系統(tǒng)之間數(shù)據(jù)互相矛盾或不能關(guān)聯(lián)帶來痛苦的數(shù)據(jù)比對

•由于缺乏統(tǒng)一的整合方法給項目帶來不必要的復(fù)雜性和不一致性

•重復(fù)建設(shè),冗余復(fù)雜的接口,性能問題

5、主數(shù)據(jù)管理缺陷將導(dǎo)致:

•客戶和產(chǎn)品的缺乏標(biāo)準(zhǔn)或缺乏對應(yīng)會帶來客戶服務(wù)的問題

•延長了產(chǎn)品開發(fā)和導(dǎo)入的周期

•給深入了解客戶之間的關(guān)系和層級帶來困難

6、安全和隱私缺陷將導(dǎo)致:

•帶來不斷增加的合規(guī)風(fēng)險,分散或不一致的數(shù)據(jù)

•在客戶、合作方、和監(jiān)管機構(gòu)眼中銀行的信譽下降

•身份被盜用和授權(quán)被濫用的風(fēng)險

業(yè)界利用數(shù)據(jù)整合的優(yōu)勢推行信息導(dǎo)向經(jīng)營戰(zhàn)略是銀行在激烈的市場競爭中獲得競爭優(yōu)勢的最優(yōu)選擇。從全球多家銀行業(yè)的實踐經(jīng)驗來看,通過信息導(dǎo)向的經(jīng)營戰(zhàn)略取得成功的銀行通常具備下述特征:

以數(shù)據(jù)分析和數(shù)字化管理的理念貫徹整個機構(gòu);

決策者藉由數(shù)據(jù)運用,找到駕馭及引導(dǎo)變革的機會與關(guān)鍵信息;

以數(shù)據(jù)為中心的業(yè)務(wù)流程設(shè)計覆蓋各個主要領(lǐng)域的管理需求;

建立數(shù)字化管理的組織文化,依據(jù)量化數(shù)據(jù)進(jìn)行決策,不論是新進(jìn)人員或具經(jīng)驗的銀行人員,均可基于一致的資料基礎(chǔ)上做出業(yè)務(wù)決策;

組織靈活有彈性,隨時能夠發(fā)展新的業(yè)務(wù)模式;能夠創(chuàng)造20-30%的經(jīng)濟效益。

03數(shù)據(jù)治理概念

數(shù)據(jù)治理這個名詞翻譯自英文Data Governance,有時也會被翻譯成“數(shù)據(jù)管控”。業(yè)界權(quán)威組織Gartner對數(shù)據(jù)治理定義是:數(shù)據(jù)治理是通過組織、制度、流程、技術(shù)的結(jié)合與實踐活動,用以管理、維護(hù)和開發(fā)作為企業(yè)信息資產(chǎn)的數(shù)據(jù)。治理不同于管理,管理是你做出的決定,治理就是為這些決定制定愿景,政策,標(biāo)準(zhǔn),流程和規(guī)則。

治理是執(zhí)政的行為。它涉及到定義期望值,授予權(quán)力(決策權(quán)),并且對結(jié)果進(jìn)行驗證。

治理是統(tǒng)一的管理。有凝聚力的政策,指導(dǎo),流程和規(guī)則,以確保我們在合適的時間,以正確的方式在做正確的事情。

治理將為企業(yè)建立一個愿景,并制定相應(yīng)的政策,企業(yè)愿景,指導(dǎo)原則,標(biāo)準(zhǔn)和規(guī)則,管理是確保這些政策,標(biāo)準(zhǔn),原則和規(guī)則的實際應(yīng)用,并在新的和現(xiàn)有的系統(tǒng)中體現(xiàn)。治理把與業(yè)務(wù)戰(zhàn)略相關(guān)的決策和監(jiān)督與實際操作緊密聯(lián)系起來。

因此,數(shù)據(jù)治理也不同于數(shù)據(jù)管理(Data Management),數(shù)據(jù)管理更關(guān)注的是管理過程,例如數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理。而數(shù)據(jù)治理關(guān)注的是組織架構(gòu)、制度、流程這些管理要素的整合和執(zhí)行。

對于銀行來講,數(shù)據(jù)管理的內(nèi)容會有很多方面,而數(shù)據(jù)治理的內(nèi)容只有一個。因此數(shù)據(jù)治理可以理解為是對數(shù)據(jù)管理的管理。

近些年來,國內(nèi)多家銀行在數(shù)據(jù)治理領(lǐng)域也在做不斷的探索,很多大中型銀行都啟動了數(shù)據(jù)治理相關(guān)的咨詢項目和落地項目,但是在這些項目實踐中也發(fā)現(xiàn),缺乏成熟的方法論、缺乏整體的治理框架、缺乏整體的實施路線圖,這些問題往往制約著數(shù)據(jù)治理工作的開展。

為了確保從數(shù)據(jù)中獲取商業(yè)價值,所有與數(shù)據(jù)和信息相關(guān)的治理需要協(xié)同運作。這意味著他們將承擔(dān)共同的責(zé)任,以確保正確的數(shù)據(jù)被傳送,并在正確的時間,以正確的方式,被正確的人員使用

QQ截圖20211119092508.png

IT治理。監(jiān)督選定的技術(shù)是否符合企業(yè)的IT基礎(chǔ)架構(gòu),與經(jīng)過批準(zhǔn)的標(biāo)準(zhǔn)的技術(shù)和IT流程一致。

數(shù)據(jù)治理。確保了數(shù)據(jù)是正確的,數(shù)據(jù)的定義和使用是一致的,BI治理將確保數(shù)據(jù)以正確的方式展示,倉庫治理和IT治理通過確保倉庫和IT基礎(chǔ)架構(gòu)的有效性來支持?jǐn)?shù)據(jù)的正確交付。

數(shù)倉治理。指導(dǎo)和控制數(shù)據(jù)倉庫的管理,對DW的有效性和效率負(fù)責(zé)。IT治理政策(像IT支持政策,版本控制等)和數(shù)據(jù)治理流程(如數(shù)據(jù)分析和清潔)也應(yīng)適用于數(shù)據(jù)倉庫,使其高效和有效的。

BI治理。對商業(yè)智能(BI)和業(yè)務(wù)分析進(jìn)行管理控制,負(fù)責(zé)信息的正確使用和傳遞。

QQ截圖20211119092508.png

上圖顯示了不同的治理類型在EDW中的關(guān)系,從左到右:

1、左邊數(shù)據(jù)產(chǎn)生,及數(shù)據(jù)的輸入(手工)或數(shù)據(jù)創(chuàng)建(辦自動化/自動)。

數(shù)據(jù)治理:負(fù)責(zé)建立輸入或創(chuàng)建數(shù)據(jù)的政策、指導(dǎo)原則、標(biāo)準(zhǔn)和規(guī)則。

2.產(chǎn)生的數(shù)據(jù)存儲在運營系統(tǒng)中,支持報表或者被其他操作流程提取。

數(shù)據(jù)治理:負(fù)責(zé)在操作型系統(tǒng)中制定數(shù)據(jù)訪問和安全政策,以及在定義數(shù)據(jù)和數(shù)據(jù)建模時如何應(yīng)用標(biāo)準(zhǔn)。

IT治理:負(fù)責(zé)確保操作型系統(tǒng)持續(xù)可用,用戶可以輸入數(shù)據(jù)。

3.數(shù)據(jù)倉庫從不同的獨立的源系統(tǒng)中獲取

•數(shù)據(jù)治理:負(fù)責(zé)決定什么數(shù)據(jù)應(yīng)該被獲取,以及數(shù)據(jù)獲取的頻率。

•IT治理:負(fù)責(zé)決定數(shù)據(jù)獲取的技術(shù),工具使用的條件以及文件格式,等等。

•倉庫治理:負(fù)責(zé)確保獲取數(shù)據(jù)時倉庫是可用的,以及數(shù)據(jù)提交(batch,file)的格式,等等。

4.獲取的數(shù)據(jù)存儲在數(shù)據(jù)倉庫的數(shù)據(jù)獲取層:

•數(shù)據(jù)治理:負(fù)責(zé)決定數(shù)據(jù)進(jìn)行整合之前是否進(jìn)行數(shù)據(jù)剖析(data profiling),是否額外的控制字段需要加入到數(shù)據(jù)結(jié)構(gòu)中。

•IT治理:負(fù)責(zé)確保IT基礎(chǔ)架構(gòu)已經(jīng)建立(數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò),倉庫服務(wù)器)。

•倉庫治理:負(fù)責(zé)決定多少歷史數(shù)據(jù)必須加載,哪些數(shù)據(jù)可以歸檔。

5.獲取的源數(shù)據(jù)經(jīng)過轉(zhuǎn)換進(jìn)入到數(shù)據(jù)整合層,數(shù)據(jù)整合層提供一個整合的數(shù)據(jù)視圖而不論數(shù)據(jù)的來源,整合層具有范式化的數(shù)據(jù)結(jié)構(gòu)來支持?jǐn)?shù)據(jù)在企業(yè)方位內(nèi)可以重用。

•數(shù)據(jù)治理:定義元數(shù)據(jù)管理政策,確保數(shù)據(jù)具有業(yè)務(wù)含義。

•IT治理:標(biāo)準(zhǔn)的數(shù)據(jù)建模工具。

•倉庫治理:負(fù)責(zé)確保DW容量規(guī)劃符合將來新的數(shù)據(jù)導(dǎo)入需要。

6.范式化和集成的數(shù)據(jù)需要在訪問層被“非范式化”,使得數(shù)據(jù)能夠目標(biāo)業(yè)務(wù)用戶訪問:

•數(shù)據(jù)治理:定義數(shù)據(jù)訪問政策,即定義什么角色可以訪問哪類數(shù)據(jù)。

•IT治理:定義開發(fā)訪問層組件的IT版本控制策略。

•倉庫治理:定義和監(jiān)控SLA協(xié)議,確保目前的性能和工作負(fù)載管理是最優(yōu)的。

•BI治理:制定訪問層業(yè)務(wù)元數(shù)據(jù)建立的指導(dǎo)原則和規(guī)則。

7.訪問層提供的數(shù)據(jù)發(fā)布到目標(biāo)系統(tǒng)(分析應(yīng)用和操作,立方體,報表,文件等),使信息消費。

8.對存儲在目標(biāo)系統(tǒng)的數(shù)據(jù)作進(jìn)一步的分析或決策(業(yè)務(wù)用戶或分析師)。

因此,數(shù)據(jù)治理是一個跨系統(tǒng)、跨業(yè)務(wù)部門和技術(shù)部門的系統(tǒng)工程,同時作為企業(yè)高階的規(guī)劃,數(shù)據(jù)治理的規(guī)劃通常是在企業(yè)發(fā)展戰(zhàn)略高層次的規(guī)劃指引下,結(jié)合IT治理規(guī)劃進(jìn)行。

04數(shù)據(jù)認(rèn)責(zé)概念

那么,誰對數(shù)據(jù)負(fù)責(zé)呢,有人會說:“不是IT負(fù)責(zé)嗎?”。但是通常IT對此沒有太大的幫助,除非他們具有以下的業(yè)務(wù)知識:

•能夠解釋在業(yè)務(wù)使用環(huán)境中需要的信息和可能用到的數(shù)據(jù)。

•識別受污染數(shù)據(jù)的根源和其他數(shù)據(jù)問題的根源

•解決數(shù)據(jù)問題

•從其他數(shù)據(jù)分離出干凈的數(shù)據(jù),等等

IT是負(fù)責(zé)系統(tǒng)和基礎(chǔ)設(shè)施的,對數(shù)據(jù)認(rèn)責(zé)的人員應(yīng)該來自于業(yè)務(wù)部門,因為他們是系統(tǒng)的使用人員,知道什么是最好的數(shù)據(jù)。Gartner在2008年的一份報告中指出:“以提升數(shù)據(jù)質(zhì)量為己任的企業(yè)必須要指派數(shù)據(jù)管理人員。數(shù)據(jù)認(rèn)責(zé)若要成功,企業(yè)文化必須轉(zhuǎn)變,數(shù)據(jù)應(yīng)視為競爭性資產(chǎn)而非不得已而為之的手段。”

數(shù)據(jù)認(rèn)責(zé)的主要內(nèi)涵是確定數(shù)據(jù)治理工作的相關(guān)各方的責(zé)任和關(guān)系,包括數(shù)據(jù)治理過程中的決策、執(zhí)行、解釋、匯報、協(xié)調(diào)等活動的參與方和負(fù)責(zé)方,以及各方承擔(dān)的角色和職責(zé)等。

•數(shù)據(jù)認(rèn)責(zé)適用于所有參與其中的人員,如:管理和提升數(shù)據(jù)質(zhì)量的數(shù)據(jù)專家,當(dāng)錄入數(shù)據(jù)時需要了解數(shù)據(jù)政策和規(guī)則的業(yè)務(wù)用戶,當(dāng)數(shù)據(jù)變更或規(guī)則變更時需要知情的數(shù)據(jù)消費者,正在進(jìn)行數(shù)據(jù)開發(fā)項目需要清楚數(shù)據(jù)管理標(biāo)準(zhǔn),指導(dǎo)方針,工具和流程的項目組成員。

•認(rèn)責(zé)制可以防止事情“遭忽略而產(chǎn)生缺陷/失敗”,這經(jīng)常存在于企業(yè)的責(zé)任認(rèn)定中。

•認(rèn)責(zé)制并不一定都在企業(yè)的高層人員,而是定位在最適當(dāng)?shù)乃剑灰@個人員能夠?qū)@項工作擔(dān)負(fù)起責(zé)任。

數(shù)據(jù)認(rèn)責(zé)要達(dá)到的目標(biāo)

•形成由數(shù)據(jù)治理負(fù)責(zé)部門牽頭的,全員參與的主動認(rèn)責(zé)文化,重視問題的溝通,能夠主動剖析和快速響應(yīng)出現(xiàn)的認(rèn)責(zé)問題;

•建立全行統(tǒng)一的認(rèn)責(zé)流程,認(rèn)責(zé)流程管理持續(xù)優(yōu)化;

•細(xì)化和落實各類數(shù)據(jù)認(rèn)責(zé)流程、管理辦法,并成功地將數(shù)據(jù)認(rèn)責(zé)納入企業(yè)績效考核體系當(dāng)中;

•執(zhí)行基于數(shù)據(jù)域的數(shù)據(jù)認(rèn)責(zé)模式,數(shù)據(jù)域的劃分清晰且合理,理清各部門、各小組以及各參與人所承擔(dān)的角色職責(zé),在全行推廣數(shù)據(jù)認(rèn)責(zé)。

下圖顯示了一個數(shù)據(jù)問題管理流程,在這個流程中我們可以看到數(shù)據(jù)認(rèn)責(zé)的四個主要的角色:

QQ截圖20211119092508.png

•數(shù)據(jù)使用者

需要理解數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)制度和規(guī)則,遵守和執(zhí)行數(shù)據(jù)治理相關(guān)的流程,根據(jù)數(shù)據(jù)的相關(guān)要求使用數(shù)據(jù),并提出數(shù)據(jù)質(zhì)量問題。

•數(shù)據(jù)所有者

對數(shù)據(jù)資產(chǎn)負(fù)責(zé),同時對數(shù)據(jù)管理的政策、標(biāo)準(zhǔn)、規(guī)則、流程負(fù)責(zé),提供數(shù)據(jù)的業(yè)務(wù)需求,分配數(shù)據(jù)的使用權(quán),解釋數(shù)據(jù)的業(yè)務(wù)規(guī)則和含義,執(zhí)行關(guān)于數(shù)據(jù)分類、訪問控制和數(shù)據(jù)管理的最終決策。

•數(shù)據(jù)提供者

負(fù)責(zé)按相關(guān)的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)制度和規(guī)則、業(yè)務(wù)操作流程的要求生產(chǎn)數(shù)據(jù),并對生產(chǎn)數(shù)據(jù)的質(zhì)量負(fù)責(zé)。

•數(shù)據(jù)管理者

負(fù)責(zé)落實數(shù)據(jù)需求,對數(shù)據(jù)實施管理,保證數(shù)據(jù)的完整性、準(zhǔn)確性、一致性和隱私,負(fù)責(zé)數(shù)據(jù)的日常管理與維護(hù)。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論