隨著大數(shù)據(jù)發(fā)展重心從行業(yè)應(yīng)用轉(zhuǎn)向數(shù)據(jù)服務(wù),大數(shù)據(jù)治理成為各界的關(guān)注和研究熱點。本文拋磚引玉,從技術(shù)視角解析大數(shù)據(jù)治理技術(shù)體系和治理模式,提出了包含數(shù)據(jù)、平臺和應(yīng)用的三層架構(gòu)技術(shù)體系,梳理總結(jié)了四種大數(shù)據(jù)治理模式。
一、大數(shù)據(jù)治理背景和需求
根據(jù)Gartner最近幾年發(fā)布的大數(shù)據(jù)發(fā)展分析顯示:2011-2013年,出現(xiàn)了大數(shù)據(jù)建設(shè)高潮;2014-2016年,大數(shù)據(jù)轉(zhuǎn)向應(yīng)用階段,行業(yè)應(yīng)用成為發(fā)展重點;2017開始,大數(shù)據(jù)轉(zhuǎn)向數(shù)據(jù)服務(wù)階段,數(shù)據(jù)成為基礎(chǔ)性戰(zhàn)略資源,但數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、隱私保護(hù)、共享開放等問題日益突出,數(shù)據(jù)治理開始受到高度關(guān)注并引發(fā)各界深度思考。梅宏院士針對大數(shù)據(jù)治理提出,“從營造國家大數(shù)據(jù)產(chǎn)業(yè)發(fā)展環(huán)境的視角構(gòu)建一個大數(shù)據(jù)的治理體系及相應(yīng)技術(shù)支撐體系建設(shè)等”若干建議。
目前,各界均意識到大數(shù)據(jù)治理的重要性,主要存在兩方面需求:
(1)內(nèi)部需求
在經(jīng)歷過大數(shù)據(jù)平臺建設(shè)和應(yīng)用發(fā)展階段之后,企業(yè)的重心開始關(guān)注如何使用數(shù)據(jù),即數(shù)據(jù)服務(wù)。但目前普遍存在的數(shù)據(jù)質(zhì)量低、不規(guī)范、不安全等現(xiàn)象,嚴(yán)重影響了數(shù)據(jù)的利用,已經(jīng)成為所有企業(yè)迫切解決的問題。
(2)外部需求
外部需求主要包含兩個方面,一方面來自監(jiān)管需求,尤其在數(shù)據(jù)開放、共享、交換、規(guī)范、審計、安全隱私等方面,如銀保監(jiān)會發(fā)布《銀行業(yè)金融機(jī)構(gòu)數(shù)據(jù)治理指引》,規(guī)范銀行業(yè)金融機(jī)構(gòu)的數(shù)據(jù)管理活動;另一方面,來自市場競爭壓力,企業(yè)需要借助大數(shù)據(jù)提升產(chǎn)品、業(yè)務(wù)、服務(wù)、管理等創(chuàng)新能力,保障企業(yè)的市場競爭優(yōu)勢。
二、大數(shù)據(jù)治理技術(shù)
大數(shù)據(jù)治理,既需要組織、制度等提供治理保障,也需要工具、平臺等技術(shù)支撐。大數(shù)據(jù)治理技術(shù)是將數(shù)據(jù)管理、制度、流程、組織等治理要素融入技術(shù),支撐數(shù)據(jù)治理工作落地,包括技術(shù)體系和治理模式兩個維度。利用大數(shù)據(jù)治理技術(shù),不僅可以顯著提升數(shù)據(jù)治理能力和治理工作效率,還能降低數(shù)據(jù)治理成本。
1.大數(shù)據(jù)治理技術(shù)體系
為了更好的指導(dǎo)數(shù)據(jù)治理技術(shù)建設(shè),需要一個頂層的技術(shù)體系設(shè)計?;谀壳皣鴥?nèi)外研究成果,我們認(rèn)為目前的大數(shù)治理技術(shù)體系應(yīng)該包括三個層面:(1)數(shù)據(jù)治理。即以數(shù)據(jù)為核心,從元數(shù)據(jù)、標(biāo)準(zhǔn)、質(zhì)量、安全、主數(shù)據(jù)等方面,為數(shù)據(jù)提供全生命周期治理。(2)平臺治理。即以平臺為核心,結(jié)合平臺類型、業(yè)務(wù)、治理需求等,將對應(yīng)的治理技術(shù),融入大數(shù)據(jù)平臺的采集、存儲、計算等過程,實現(xiàn)對大數(shù)據(jù)平臺管理過程的治理。(3)應(yīng)用治理。即以應(yīng)用為核心,結(jié)合應(yīng)用類型、業(yè)務(wù)、治理需求等,將對應(yīng)的治理技術(shù)融入大數(shù)據(jù)應(yīng)用工具,實現(xiàn)對大數(shù)據(jù)應(yīng)用過程的治理。
圖1大數(shù)據(jù)治理技術(shù)體系
2.大數(shù)據(jù)治理模式
大數(shù)據(jù)治理技術(shù)種類多樣、功能各異,不同技術(shù)的相互融合會帶來更好的效果,因此,治理模式的選擇顯得尤為重要。梳理目前的市場需求和應(yīng)用現(xiàn)狀,可總結(jié)出四種數(shù)據(jù)治理模式。
(1)元數(shù)據(jù)治理模式。元數(shù)據(jù)用于描述企業(yè)數(shù)據(jù)的各方面特征信息,是數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等治理的基礎(chǔ)。通過對業(yè)務(wù)、技術(shù)及過程的元數(shù)據(jù)治理,能夠幫助企業(yè)建設(shè)數(shù)據(jù)資產(chǎn)的統(tǒng)一視圖,實現(xiàn)數(shù)據(jù)資產(chǎn)的盤點和展示。元數(shù)據(jù)治理模式以元數(shù)據(jù)治理為核心,同時融合數(shù)據(jù)標(biāo)準(zhǔn)治理和數(shù)據(jù)安全治理,以確保元數(shù)據(jù)管理服務(wù)的規(guī)范性和安全性。
圖2元數(shù)據(jù)治理模式
(2)質(zhì)量治理模式。數(shù)據(jù)質(zhì)量可影響決策的成敗,可謂差之毫厘、謬以千里,因此數(shù)據(jù)質(zhì)量對企業(yè)發(fā)展至關(guān)重要。數(shù)據(jù)質(zhì)量治理通過質(zhì)量檢核指標(biāo)的制定與維護(hù)、數(shù)據(jù)質(zhì)量告警、質(zhì)量問題的分析和管理等,實現(xiàn)對數(shù)據(jù)的絕對質(zhì)量管理與過程質(zhì)量管理。質(zhì)量治理模式以數(shù)據(jù)質(zhì)量治理為核心,同時融合數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)安全治理,以確保數(shù)據(jù)質(zhì)量管理服務(wù)的規(guī)范性和安全性。
圖3數(shù)據(jù)質(zhì)量治理模式
(3)安全治理模式。數(shù)據(jù)安全通常包括數(shù)據(jù)訪問、數(shù)據(jù)使用、隱私數(shù)據(jù)、安全審計等。數(shù)據(jù)安全治理是利用數(shù)據(jù)加密工具、數(shù)據(jù)脫敏工具、數(shù)據(jù)庫安全工具、數(shù)據(jù)防泄漏工具、數(shù)字水印技術(shù)、身份認(rèn)證技術(shù)等保障企業(yè)數(shù)據(jù)的安全。安全治理模式以數(shù)據(jù)安全治理為核心,同時融合數(shù)據(jù)標(biāo)準(zhǔn)治理,以確保數(shù)據(jù)安全管理服務(wù)的規(guī)范性。
圖4安全治理模式
(4)主數(shù)據(jù)治理模式。主數(shù)據(jù)是企業(yè)真實的、關(guān)鍵的業(yè)務(wù)數(shù)據(jù)。針對這些核心關(guān)鍵數(shù)據(jù),對于其質(zhì)量、一致性、可用性、管理規(guī)范等,都有著最嚴(yán)格的數(shù)據(jù)要求。主數(shù)據(jù)治理通過對業(yè)務(wù)數(shù)據(jù)的整合、管理,提供數(shù)據(jù)建模、數(shù)據(jù)地圖、數(shù)據(jù)集市和數(shù)據(jù)全生命周期管理。主數(shù)據(jù)治理模式以主數(shù)據(jù)治理為核心,融合數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全治理,以確保主數(shù)據(jù)管理服務(wù)的規(guī)范性、高質(zhì)量和安全性。
圖5主數(shù)據(jù)治理模式