數(shù)據(jù)治理定義了角色、責任和流程,以確保整個企業(yè)對數(shù)據(jù)資產(chǎn)的責任和所有權。
01、數(shù)據(jù)治理定義
數(shù)據(jù)治理是一個用于定義組織內(nèi)誰對數(shù)據(jù)資產(chǎn)具有權限和控制力,以及如何使用這些數(shù)據(jù)資產(chǎn)的系統(tǒng)。它包括管理和保護數(shù)據(jù)資產(chǎn)所需的人員、流程和技術。
數(shù)據(jù)治理研究所將其定義為一個根據(jù)商定的模型執(zhí)行的"一個與信息相關的決策權利和責任系統(tǒng)"。而該模型描述了誰可以使用哪些信息,采取什么行動,以及何時,在什么情況下,使用什么方法。
國際數(shù)據(jù)管理協(xié)會(DAMA)將其定義為"對數(shù)據(jù)管理以及數(shù)據(jù)和數(shù)據(jù)相關來源的使用進行規(guī)劃,監(jiān)督和控制"。
02、數(shù)據(jù)治理與數(shù)據(jù)管理
盡管數(shù)據(jù)管理是一個重要的部分,但是它只是數(shù)據(jù)管理整體學科的一部分。數(shù)據(jù)治理的內(nèi)容是和確保數(shù)據(jù)資產(chǎn)的責任和所有權的角色、責任和流程相關的,而DAMA將數(shù)據(jù)管理定義為一個總體術語,描述了用于規(guī)劃、指定、啟用、創(chuàng)建、獲取、維護、使用、歸檔、檢索、控制和清除數(shù)據(jù)的過程。
雖然數(shù)據(jù)管理已成為該學科的常用術語,但它有時還被稱為數(shù)據(jù)資源管理或企業(yè)信息管理(EIM)。Gartner將EIM描述為一種以提高效率、提高透明度并實現(xiàn)業(yè)務洞察力為目的,跨組織和技術邊界構建、描述和管理信息資產(chǎn)的綜合性學科。
03、數(shù)據(jù)治理框架
數(shù)據(jù)治理多被看作支持組織總體數(shù)據(jù)管理策略的功能。這樣的框架為組織提供了一種收集、管理、保護和存儲數(shù)據(jù)的整體方法。為了幫助理解框架應該涵蓋的內(nèi)容,DAMA將數(shù)據(jù)管理設想為一個輪子,以數(shù)據(jù)治理為中心,從中輻射出以下10個數(shù)據(jù)管理知識領域:
·數(shù)據(jù)構架:作為企業(yè)架構的一個組成部分,也是數(shù)據(jù)和數(shù)據(jù)相關資源的整體結構
·數(shù)據(jù)建模和設計:分析、設計、構建、測試和維護
·數(shù)據(jù)存儲和操作:結構化物理數(shù)據(jù)資產(chǎn)存儲部署和管理
·數(shù)據(jù)安全:確保隱私、機密性和適當?shù)脑L問
·數(shù)據(jù)集成和互操作性:采集、提取、轉換、移動、交付、復制、聯(lián)合、虛擬化和運營支持
·文檔和內(nèi)容:存儲、保護、索引和啟用對非結構化源中的數(shù)據(jù)的訪問,并使這些數(shù)據(jù)可用于與結構化數(shù)據(jù)的集成和互操作性
·參考和主數(shù)據(jù):管理共享數(shù)據(jù)以減少冗余,并通過標準化定義和使用數(shù)據(jù)值來確保更好的數(shù)據(jù)質量
·數(shù)據(jù)倉庫和商業(yè)智能(BI):管理分析數(shù)據(jù)的處理,并使人們能夠獲得決策支持數(shù)據(jù),以便進行報告和分析
·元數(shù)據(jù):收集、分類、維護、集成、控制、管理和交付元數(shù)據(jù)
·數(shù)據(jù)質量:定義、監(jiān)控、維護數(shù)據(jù)完整性和提高數(shù)據(jù)質量
在制定戰(zhàn)略時,應考慮數(shù)據(jù)收集、管理、存檔和使用的上述每個方面。
商業(yè)應用研究中心(BARC)警告說,這不是一個"大爆炸計劃"。作為一個高度復雜、持續(xù)的計劃,數(shù)據(jù)治理存在參與者隨著時間的推移失去信任和興趣的風險。為了解決這個問題,BARC建議這個計劃可以從可管理或特定于應用程序的原型項目開始,然后根據(jù)經(jīng)驗教訓在整個公司范圍內(nèi)進行擴展。
BARC建議執(zhí)行以下步驟:
·定義目標并了解收益
·分析當前狀態(tài)和增量分析
·派生路線圖
·說服利益相關者和預算項目
·制定和規(guī)劃數(shù)據(jù)治理計劃
·實施數(shù)據(jù)治理計劃
·監(jiān)視和控制
04、數(shù)據(jù)治理的目標
其目的是建立一種方法、一套責任和相對應流程,以規(guī)范、整合、保護和存儲企業(yè)數(shù)據(jù)。根據(jù)BARC的說法,組織的主要目標應該是:
·將風險降至最低
·建立數(shù)據(jù)使用的內(nèi)部規(guī)則
·實施合規(guī)性要求
·改善內(nèi)部和外部溝通
·提高數(shù)據(jù)的價值
·便于上述內(nèi)容的管理
·降低成本
·通過風險管理和優(yōu)化幫助確保公司的繼續(xù)存在
BARC指出,這些計劃始終跨越企業(yè)的戰(zhàn)略,戰(zhàn)術和運營層面,并且必須將其視為持續(xù)的迭代過程。
05、數(shù)據(jù)治理的優(yōu)勢
大多數(shù)公司已經(jīng)對單個應用程序、業(yè)務部門或職能部門進行了某種形式的治理,雖然這些流程和職責是非正式的。作為一種實踐,它是關于對這些過程和責任建立系統(tǒng)的、正式的控制。這樣做可以幫助公司保持響應能力,特別是當他們發(fā)展到一定規(guī)模,個人執(zhí)行跨職能的任務不再有效時。
數(shù)據(jù)管理的幾個整體好處只有在企業(yè)建立系統(tǒng)的數(shù)據(jù)治理后才能實現(xiàn)。其中一些好處包括:
·更好、更全面的決策支持,這些支持來自整個組織中一致、統(tǒng)一的數(shù)據(jù)
·為不斷變化的流程和數(shù)據(jù)制定明確的規(guī)則,幫助業(yè)務和IT變得更加敏捷和可擴展
·通過提供中央控制機制,降低數(shù)據(jù)管理其他領域的成本
·通過重用流程和數(shù)據(jù)的能力提高效率
·提高對數(shù)據(jù)質量和數(shù)據(jù)流程文檔的信心
·提高對數(shù)據(jù)法規(guī)的遵從性
06、數(shù)據(jù)治理原則
根據(jù)數(shù)據(jù)治理研究所的數(shù)據(jù),所有成功的數(shù)據(jù)治理和管理計劃的核心為以下八項原則:
·所有參與者在相互打交道時都必須保持誠信。在討論數(shù)據(jù)相關決策的驅動因素、限制因素、選項和影響時,他們必須誠實和坦率。
·數(shù)據(jù)治理和管理流程需要透明度。所有參與者和審計員都必須清楚,如何以及何時將與數(shù)據(jù)相關的決策和控制引入流程。
·受數(shù)據(jù)治理約束的相關決策、流程和控制必須是可審計的。它們必須附有文檔,以支持基于合規(guī)性和運營的審計要求。
·他們必須明確誰對跨職能數(shù)據(jù)相關的決策、流程和控制負責。
·它必須定義誰對管理活動負責,這些活動是個人貢獻者和數(shù)據(jù)管理員組的責任。
·必須以一種在業(yè)務和技術團隊之間,以及在創(chuàng)建/收集信息的人、管理信息的人、使用信息的人以及引入標準和合規(guī)性要求的人之間引入制衡的方式來定義問責制。
·該計劃必須引入并支持企業(yè)數(shù)據(jù)的標準化。
·程序必須支持對參考數(shù)據(jù)值以及主數(shù)據(jù)和元數(shù)據(jù)的結構/使用進行主動和被動的變更管理活動。
07、數(shù)據(jù)治理角色
每個企業(yè)的數(shù)據(jù)治理方式不同,但存在一些共同點。
指導委員會
治理計劃涵蓋整個企業(yè),通常從一個由高級管理層組成的指導委員會開始,通常是負責業(yè)務線的C級個人或副總裁?!禛et Governance:Building World Class Data Governance Programs》一書的作者摩根·圣殿騎士(Morgan Templar)表示,指導委員會成員的責任包括制定具有特定成果的整體治理戰(zhàn)略,支持數(shù)據(jù)管家的工作,以及讓治理組織對時間表和成果負責。
數(shù)據(jù)所有者
Templar表示,數(shù)據(jù)所有者是負責確保特定數(shù)據(jù)域中的信息跨系統(tǒng)和業(yè)務線進行管理的個人。他們通常是指導委員會的成員,盡管可能不是有表決權的成員。數(shù)據(jù)所有者負責:
·批準數(shù)據(jù)詞匯表和其他數(shù)據(jù)定義
·確保整個企業(yè)信息的準確性
·指導數(shù)據(jù)質量活動
·審查和批準主數(shù)據(jù)管理方法、結果和活動
·與其他數(shù)據(jù)所有者合作解決數(shù)據(jù)問題
·對數(shù)據(jù)管理員發(fā)現(xiàn)的問題進行二級審查
·向指導委員會提供有關其數(shù)據(jù)域的軟件解決方案、策略或法規(guī)要求的意見
數(shù)據(jù)專員
數(shù)據(jù)管理員負責數(shù)據(jù)的日常管理。Templar說,他們是主題專家(SME),他們理解并傳達信息的含義和使用,他們與整個組織中的其他數(shù)據(jù)管理員合作,作為大多數(shù)數(shù)據(jù)決策的管理機構。數(shù)據(jù)管理員負責:
·成為其數(shù)據(jù)領域的中小企業(yè)
·識別數(shù)據(jù)問題并與其他數(shù)據(jù)專員合作解決這些問題
·擔任數(shù)據(jù)管家委員會的成員
·就數(shù)據(jù)政策和委員會活動提出建議、討論和投票
·向數(shù)據(jù)所有者和數(shù)據(jù)域內(nèi)的其他利益干系人報告
·跨職能部門工作,確保其域的數(shù)據(jù)得到管理和理解
08、數(shù)據(jù)治理工具
數(shù)據(jù)治理是一個持續(xù)的計劃,而不是一個技術解決方案,但有一些工具可以幫助支持該計劃。適合你企業(yè)的工具將取決于你的需求、數(shù)據(jù)量和預算。根據(jù)IT Central Station的說法,一些更受歡迎的解決方案包括:
·Collibra Governance:Collibra是一個企業(yè)范圍的解決方案,可自動執(zhí)行許多治理和管理任務。它包括策略管理器、數(shù)據(jù)幫助臺、數(shù)據(jù)字典和業(yè)務詞匯表。
·SAS數(shù)據(jù)管理:SAS數(shù)據(jù)管理基于SAS平臺構建,提供用于管理流程的基于角色的GUI,包括集成的業(yè)務詞匯表、SAS和第三方元數(shù)據(jù)管理以及現(xiàn)狀圖的可視化。
·用于數(shù)據(jù)治理的erwin數(shù)據(jù)智能(DI):erwin DI結合了數(shù)據(jù)目錄和數(shù)據(jù)掃盲的能力,以提供對可用數(shù)據(jù)資產(chǎn)的認識和訪問。它為這些數(shù)據(jù)資產(chǎn)的使用提供指導,并確保數(shù)據(jù)政策和最佳實踐得到遵循。
·Informatica Axon:Informatica Axon是一個用于支持計劃的收集中心和數(shù)據(jù)市場。主要功能包括配備協(xié)作業(yè)務詞匯表、可視化數(shù)據(jù)脈絡的能力,以及根據(jù)業(yè)務定義生成數(shù)據(jù)質量測量標準。
·SAP數(shù)據(jù)中心:SAP Data Hub是一種數(shù)據(jù)編排解決方案,旨在幫助你發(fā)現(xiàn)、優(yōu)化、豐富和管理數(shù)據(jù)環(huán)境中所有類型的數(shù)據(jù)、種類和數(shù)據(jù)量。它可幫助組織為用戶、群體和角色建立安全設置和身份控制策略,并簡化策略管理和安全日志記錄的最佳做法和過程。
·Alation:Alation是按源自動為數(shù)據(jù)編制索引的企業(yè)數(shù)據(jù)目錄。其關鍵功能之一TrustCheck為工作流程提供了實時"護欄"。特別是為了支持自助式分析,TrustCheck將準則和規(guī)則附在數(shù)據(jù)資產(chǎn)上。
·Varonis Data Governance Suite:Varonis的解決方案利用可擴展的元數(shù)據(jù)框架自動執(zhí)行數(shù)據(jù)保護和管理任務,使組織能夠管理數(shù)據(jù)訪問,查看每個文件和電子郵件事件的審計跟蹤,確定不同業(yè)務部門的數(shù)據(jù)所有權,以及查找和分類敏感數(shù)據(jù)和文檔。
·IBM數(shù)據(jù)治理:IBM數(shù)據(jù)治理利用機器學習來收集和整理數(shù)據(jù)資產(chǎn)。集成的數(shù)據(jù)目錄可幫助企業(yè)查找、整理、分析、準備和共享數(shù)據(jù)。
09、數(shù)據(jù)治理認證
數(shù)據(jù)治理是一個系統(tǒng),但有一些認證可以幫助您的組織獲得優(yōu)勢,包括以下內(nèi)容:
·DAMA認證數(shù)據(jù)管理專業(yè)人員(CDMP)
·數(shù)據(jù)治理和管理專業(yè)人員(DGSP)
·edX企業(yè)數(shù)據(jù)管理
·SAP認證應用程序助理–SAP主數(shù)據(jù)治理
作者:Thor Olavsrud
編譯:帆軟數(shù)據(jù)應用研究院-grace