數(shù)據(jù)問題的全面解決之道數(shù)據(jù)治理

CIO之家
基于數(shù)據(jù)作分析,首先需要數(shù)據(jù)的聚合,但由于生產(chǎn)系統(tǒng)和數(shù)據(jù)的離散化,造成了數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型不統(tǒng)一,因而企業(yè)最需要做的就是對數(shù)據(jù)整合和標(biāo)準(zhǔn)化。

當(dāng)今的大型企業(yè),內(nèi)部分工日趨細(xì)化,采購、服務(wù)、市場、銷售、開發(fā)、支持、物流、財務(wù)、人力等各個環(huán)節(jié),無不每時每刻產(chǎn)生著大量的數(shù)據(jù)。數(shù)據(jù)的格式也越來越多樣化,包括IT系統(tǒng)里存儲的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),各樣電子文檔數(shù)據(jù)等。與此同時,企業(yè)管理者對數(shù)據(jù)的困惑也與日俱增,這些數(shù)據(jù)從哪里來?我們能相信這些數(shù)據(jù)嗎?數(shù)據(jù)之間有什么樣的關(guān)系?誰能理解這些數(shù)據(jù)?

零散化存放是數(shù)據(jù)問題根源

造成上述情況最根本的原因是:數(shù)據(jù)零散化存放。大型企業(yè)在不同發(fā)展階段,會根據(jù)業(yè)務(wù)需求建設(shè)很多內(nèi)部IT支撐系統(tǒng),比如ERP(企業(yè)資源計劃)系統(tǒng)、CRM(客戶服務(wù)管理)系統(tǒng)、財務(wù)管理系統(tǒng)等,這些系統(tǒng)的分散建設(shè),數(shù)據(jù)割裂,造成了數(shù)據(jù)零散化存放的現(xiàn)狀。

基于數(shù)據(jù)作分析,首先需要數(shù)據(jù)的聚合,但由于生產(chǎn)系統(tǒng)和數(shù)據(jù)的離散化,造成了數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型不統(tǒng)一,因而企業(yè)最需要做的就是對數(shù)據(jù)整合和標(biāo)準(zhǔn)化。

大數(shù)據(jù)治理帶來全面解決之道

大數(shù)據(jù)治理是諸多數(shù)據(jù)問題的全面解決之道。根據(jù)DAMA(國際數(shù)據(jù)管理協(xié)會)的定義,數(shù)據(jù)治理(DG,Data Governance)是指對數(shù)據(jù)資產(chǎn)的管理活動行使權(quán)力和控制的活動集合(規(guī)劃、監(jiān)控和執(zhí)行)。作為DAMA數(shù)據(jù)管理職能框架(圖1)的10項職能之一,起著指導(dǎo)其他數(shù)據(jù)管理職能如何執(zhí)行的作用,它通過制定正確的政策、操作規(guī)程,確保以正確的方式對數(shù)據(jù)和信息進(jìn)行管理。

圖1 DAMA數(shù)據(jù)管理職能框架

大數(shù)據(jù)治理,即基于大數(shù)據(jù)的數(shù)據(jù)治理。大數(shù)據(jù),一般指符合4V特征的數(shù)據(jù),包括社交數(shù)據(jù)、機(jī)器數(shù)據(jù)等,大數(shù)據(jù)對傳統(tǒng)數(shù)據(jù)治理工作帶來很多的擴(kuò)展,在政策/流程上,大數(shù)據(jù)治理應(yīng)覆蓋大數(shù)據(jù)的獲取、處理、存儲、安全等環(huán)節(jié),需要為大數(shù)據(jù)設(shè)置數(shù)據(jù)管理專員制度;需考慮大數(shù)據(jù)與主數(shù)據(jù)管理能力的集成,需要對大數(shù)據(jù)做定義,統(tǒng)一主數(shù)據(jù)標(biāo)準(zhǔn);在數(shù)據(jù)生命周期管理各階段,如數(shù)據(jù)存儲、保留、歸檔、處置時,要考慮大數(shù)據(jù)保存時間與存儲空間的平衡,大數(shù)據(jù)量大,因此應(yīng)識別對業(yè)務(wù)有關(guān)鍵影響的數(shù)據(jù)元素,檢查和保證數(shù)據(jù)質(zhì)量。此外,在隱私方面,應(yīng)考慮社交數(shù)據(jù)的隱私保護(hù)需求,制定相應(yīng)政策,還要將大數(shù)據(jù)治理與企業(yè)內(nèi)外部風(fēng)險管控需求建立聯(lián)系。

數(shù)據(jù)治理的商業(yè)價值

企業(yè)只有建立了完整的大數(shù)據(jù)治理體系,保證數(shù)據(jù)的質(zhì)量,才能夠真正有效地挖掘企業(yè)內(nèi)部的數(shù)據(jù)價值,對外提高競爭力。

首先,高質(zhì)量數(shù)據(jù)是企業(yè)業(yè)務(wù)創(chuàng)新、管理決策的基礎(chǔ)。隨著互聯(lián)網(wǎng)企業(yè)對其他各行業(yè)的沖擊,加劇了市場的競爭,許多企業(yè)面臨收入增速放緩、利潤空間逐步縮小的局面,過去單純的外延式增長已經(jīng)難以為繼。因此,必須向外延與內(nèi)涵相結(jié)合的增長方式轉(zhuǎn)變,未來效益的提升很大程度上要依靠企業(yè)的內(nèi)部挖潛實(shí)現(xiàn),這從客觀上對企業(yè)的創(chuàng)新能力提出了更高的要求,而提升企業(yè)內(nèi)部數(shù)據(jù)管理的精細(xì)化水平,是企業(yè)開展業(yè)務(wù)創(chuàng)新和管理決策的重要基礎(chǔ),能夠為企業(yè)創(chuàng)造巨大效益。

其次,標(biāo)準(zhǔn)化的數(shù)據(jù)是優(yōu)化商業(yè)模式、指導(dǎo)生產(chǎn)經(jīng)營的前提。許多企業(yè)的 IT 系統(tǒng)經(jīng)歷了數(shù)據(jù)量高速膨脹的時期,這些海量的、分散在不同角落的數(shù)據(jù)導(dǎo)致了數(shù)據(jù)資源利用的復(fù)雜性和管理的高難度,形成了一個個系統(tǒng)豎井。系統(tǒng)之間的關(guān)系、標(biāo)準(zhǔn)化數(shù)據(jù)從哪里獲取都無從知曉,通過數(shù)據(jù)治理工作,可以對分散在各系統(tǒng)中的數(shù)據(jù)提供一套統(tǒng)一的數(shù)據(jù)命名、數(shù)據(jù)定義、數(shù)據(jù)類型、賦值規(guī)則等的定義基準(zhǔn),通過數(shù)據(jù)標(biāo)準(zhǔn)化可以防止數(shù)據(jù)的混亂使用,確保數(shù)據(jù)的正確性及質(zhì)量,并可以優(yōu)化商業(yè)模式,指導(dǎo)企業(yè)生產(chǎn)經(jīng)營工作。

最后,多角度、全方位的數(shù)據(jù)是企業(yè)開展市場營銷、爭奪客戶資源的關(guān)鍵。數(shù)據(jù)已成為企業(yè)最核心的隱形財富,誰掌握了準(zhǔn)確的數(shù)據(jù)誰就能獲得先機(jī),在當(dāng)前競爭日益激烈的市場上,企業(yè)如何在不同的細(xì)分市場構(gòu)建客戶畫像、開展精準(zhǔn)營銷,如何選擇競爭策略、進(jìn)行經(jīng)營管理決策,都必須基于360度全方位、準(zhǔn)確的客戶數(shù)據(jù)加以分析判斷才能得出。

數(shù)據(jù)治理的五個核心要素

1.明確數(shù)據(jù)治理責(zé)任,建立數(shù)據(jù)治理組織

數(shù)據(jù)出了問題,到底是誰的責(zé)任?因為數(shù)據(jù)主要是IT系統(tǒng)產(chǎn)生的,所以一直以來,解決數(shù)據(jù)問題都被認(rèn)為是IT部門的職責(zé)。而IT部門也飽受其苦,數(shù)據(jù)定義和業(yè)務(wù)規(guī)則,業(yè)務(wù)部門最清楚;數(shù)據(jù)錄入,業(yè)務(wù)人員負(fù)責(zé);數(shù)據(jù)使用,業(yè)務(wù)人員是用戶;數(shù)據(jù)考核,業(yè)務(wù)部門有權(quán)力……但實(shí)際上,要切實(shí)解決數(shù)據(jù)問題,開展數(shù)據(jù)治理工作,就必須先清楚一點(diǎn):數(shù)據(jù)治理,是業(yè)務(wù)部門和IT部門共同的職責(zé)。

圖2 典型的中國式數(shù)據(jù)治理組織架構(gòu)

圖2是典型的中國式數(shù)據(jù)治理組織架構(gòu),數(shù)據(jù)治理/管理領(lǐng)導(dǎo)小組設(shè)在信息化領(lǐng)導(dǎo)小組之下,可以單設(shè),也可以是信息化領(lǐng)導(dǎo)小組的一個職責(zé),而虛框中的數(shù)據(jù)治理部門可能是實(shí)體部門,也可能是由牽頭業(yè)務(wù)部門和IT部門聯(lián)合組成的虛擬團(tuán)隊。

值得一提的是,越來越多的企業(yè)開始重視數(shù)據(jù)治理工作,一些企業(yè)高管團(tuán)隊中也產(chǎn)生了一個全新的職位——首席數(shù)據(jù)官(CDO),是組織內(nèi)大數(shù)據(jù)戰(zhàn)略的制定者和推動者,負(fù)責(zé)組織內(nèi)數(shù)據(jù)資產(chǎn)的開發(fā)和利用,通過數(shù)據(jù)推動組織業(yè)務(wù)的創(chuàng)新和發(fā)展,通常直接匯報給CEO或CIO。

2.管理出成效,制度是保障

大數(shù)據(jù)治理需要管理和制度的有力支撐,可結(jié)合企業(yè)的現(xiàn)狀,制定相應(yīng)的管理辦法、管理流程、認(rèn)責(zé)體系、人員角色和崗位職責(zé)等,頒布相關(guān)的數(shù)據(jù)治理的企業(yè)規(guī)章制度等。

舉個例子,在筆者負(fù)責(zé)過的一個數(shù)據(jù)治理項目中,為了加強(qiáng)數(shù)據(jù)保密管理,根據(jù)重要程度、公開范圍、數(shù)據(jù)使用頻次和數(shù)據(jù)安全要求,針對數(shù)據(jù)制定了四個重要級別:極敏感級、敏感級、較敏感級、低敏感級,并根據(jù)不同級別實(shí)施相應(yīng)的管理舉措,級別越高,數(shù)據(jù)管理的要求越高。

3.數(shù)據(jù)規(guī)范:沒有規(guī)矩,不成方圓

數(shù)據(jù)規(guī)范是指對企業(yè)核心數(shù)據(jù)進(jìn)行有關(guān)存在性、完整性、質(zhì)量及歸檔的測量標(biāo)準(zhǔn),為評估企業(yè)數(shù)據(jù)質(zhì)量,并且為手動錄入、設(shè)計數(shù)據(jù)加載程序、更新信息以及開發(fā)應(yīng)用軟件提供的約束性規(guī)則,數(shù)據(jù)規(guī)范一般包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、業(yè)務(wù)規(guī)則、元數(shù)據(jù)、主數(shù)據(jù)和參考數(shù)據(jù)。

制定數(shù)據(jù)標(biāo)準(zhǔn)的目的是為了使業(yè)務(wù)人員、技術(shù)人員在提到同一個指標(biāo)、名詞、術(shù)語的時候有一致的含義。數(shù)據(jù)模型對企業(yè)運(yùn)營過程中涉及的業(yè)務(wù)概念和邏輯規(guī)則進(jìn)行統(tǒng)一定義。業(yè)務(wù)規(guī)則是一種權(quán)威性原則或指導(dǎo)方針,用來描述業(yè)務(wù)交互,并建立行動和數(shù)據(jù)行為結(jié)果及完整性的規(guī)則。元數(shù)據(jù)能夠幫助增強(qiáng)數(shù)據(jù)理解,可以架起企業(yè)內(nèi)業(yè)務(wù)與 IT 部門之間的橋梁。主數(shù)據(jù)用來描述參與組織業(yè)務(wù)的人員、地點(diǎn)和事物。參考數(shù)據(jù)是系統(tǒng)、應(yīng)用軟件、數(shù)據(jù)庫、流程、報告中及交易記錄中用來參考的數(shù)值集合或分類表。

4.數(shù)據(jù)治理活動,理論結(jié)合實(shí)踐

數(shù)據(jù)治理活動是指為實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價值的獲取、控制、保護(hù)、交付以及提升,對數(shù)據(jù)規(guī)范所做的計劃、執(zhí)行和監(jiān)督工作,一般包括以下活動。

數(shù)據(jù)架構(gòu)管理,用于定義企業(yè)數(shù)據(jù)需求,設(shè)計實(shí)現(xiàn)數(shù)據(jù)需求的主要藍(lán)圖,通常包括數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型管理、數(shù)據(jù)集成架構(gòu)等;數(shù)據(jù)質(zhì)量管理,指通過計劃、實(shí)施和控制活動,運(yùn)用質(zhì)量管理技術(shù)度量、評估、改進(jìn)和保證數(shù)據(jù)的恰當(dāng)使用;元數(shù)據(jù)管理,指通過計劃、實(shí)施和控制活動,以實(shí)現(xiàn)輕松訪問高質(zhì)量和整合的元數(shù)據(jù);數(shù)據(jù)安全管理,指通過計劃、制定并執(zhí)行數(shù)據(jù)安全政策和措施,為數(shù)據(jù)和信息提供適當(dāng)?shù)恼J(rèn)證、授權(quán)、訪問和審計;參考數(shù)據(jù)和主數(shù)據(jù)管理,指通過計劃、實(shí)施和控制活動,達(dá)到保證參考數(shù)據(jù)與主數(shù)據(jù)的一致性。

5.數(shù)據(jù)治理軟件:工欲善其事,必先利其器

目前業(yè)界流行的數(shù)據(jù)治理軟件,一般也稱為數(shù)據(jù)資產(chǎn)管理產(chǎn)品、數(shù)據(jù)治理產(chǎn)品,主要包括的功能組件有元數(shù)據(jù)管理工具、數(shù)據(jù)標(biāo)準(zhǔn)管理工具、數(shù)據(jù)模型管理工具、數(shù)據(jù)質(zhì)量管理工具、主數(shù)據(jù)管理工具、數(shù)據(jù)安全管理工具等。

利用數(shù)據(jù)治理軟件主要解決企業(yè)不同來源數(shù)據(jù)集成過程中遇到的問題,需要數(shù)據(jù)治理軟件能夠為企業(yè)提供統(tǒng)一的元數(shù)據(jù)集成、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型設(shè)計、數(shù)據(jù)質(zhì)量稽核、數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)分析服務(wù)等能力。

目前,億信華辰推出的一站式數(shù)據(jù)治理管理平臺——睿治,融合了元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)集成管理、主數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)交換管理、生命周期管理、數(shù)據(jù)安全管理9大產(chǎn)品,打通數(shù)據(jù)治理各個環(huán)節(jié)。每個模塊功能可互相調(diào)用,同時提供各個產(chǎn)品模塊任意組合,快速解決企業(yè)不同的數(shù)據(jù)治理場景。

結(jié)語

基于大數(shù)據(jù)的人工智能時代的到來,為各行業(yè)帶來基于數(shù)據(jù)資產(chǎn)進(jìn)行業(yè)務(wù)創(chuàng)新、管理創(chuàng)新的契機(jī),伴隨著企業(yè)數(shù)字化轉(zhuǎn)型過程,越來越多的數(shù)據(jù)被收集,大數(shù)據(jù)治理將為企業(yè)提供更全面更準(zhǔn)確的數(shù)據(jù),屆時人類的大部分行為將可以被計算和預(yù)測,這種對社會成員的行為邏輯、社會事件的發(fā)展態(tài)勢提前作出判斷、預(yù)測和模擬,將使社會治理模式得到極大變革,從而極可能推動社會治理也由傳統(tǒng)的人類精英經(jīng)驗治理向基于大數(shù)據(jù)的智能化治理轉(zhuǎn)型。

THEEND

最新評論(評論僅代表用戶觀點(diǎn))

更多
暫無評論