在數(shù)據(jù)管理領域,我們一直致力于讓數(shù)據(jù)為我們提供價值,為此我們付出大量的努力和投入。
在過去二十年,各大企業(yè)都在著手搭建數(shù)據(jù)倉庫。當我們費盡艱辛搭建好數(shù)據(jù)倉庫并成功用于線上運行時,發(fā)現(xiàn)我們將花費更多時間為數(shù)據(jù)科學家、分析師做數(shù)據(jù)準備。分析他們的數(shù)據(jù)需求,提供閃閃發(fā)光的數(shù)據(jù)報表。這將占用數(shù)據(jù)維護人員 80% 的時間投入,這個投入是偏高的,包含如溝通、反查、校正等大量重復和不必要投入。
如何提升數(shù)據(jù)管理能力?
我們需要回到這 80% 的投入,想盡一切辦法壓縮它們,這樣才能更快的提供數(shù)據(jù)服務。這時有種工具呈現(xiàn)出了優(yōu)勢,那就是“元數(shù)據(jù)”。
元數(shù)據(jù),通常的定義為“描述數(shù)據(jù)的數(shù)據(jù)”。更準確一點說:元數(shù)據(jù)是描述流程、信息和對象的數(shù)據(jù)。這些描述涉及技術屬性特征(例如,結構和行為)、業(yè)務定義(包括字典和分類法)以及操作特征(如活動指標和使用歷史)。
我們用“元數(shù)據(jù)”去攻擊這“80%”。將元數(shù)據(jù)做集中式管理,梳理元數(shù)據(jù)樹,翻譯、標注、補充元數(shù)據(jù)內容。方便使用者查找數(shù)據(jù)、理解數(shù)據(jù)、追蹤溯源以及規(guī)范專業(yè)知識。降低數(shù)據(jù)準備期間溝通、反查、校正等大量重復和不必要投入,這樣我們就可以留下更多的時間進行數(shù)據(jù)分析,不僅節(jié)省大量資金投入,還賺取更多的利潤。
以電信運營商為例,通過各個時期的 IT 建設,公司有計費系統(tǒng)、網(wǎng)絡系統(tǒng)、OA 系統(tǒng)、財會系統(tǒng)和客服系統(tǒng)等等。隨著公司數(shù)據(jù)倉庫項目建設完成,各系統(tǒng)核心業(yè)務數(shù)據(jù)都匯總到了大數(shù)據(jù)中心。本以為會大幅提升 IT 系統(tǒng)的“智能性”,沒想到基層的反應是根本用不起來。很多問題都來源于:缺乏針對數(shù)據(jù)的指導,業(yè)務邏輯把控不準確,各部門指標不統(tǒng)一,導致數(shù)據(jù)準備的成本較高。
繼續(xù)以電信運營商為例,對于運營商的“當日用戶數(shù)”這個指標,各個部門給出的定義并不一樣:
在營業(yè)部每周例會上,各個部門對“當日用戶數(shù)”爭吵的面紅耳赤,擔負著業(yè)務壓力的業(yè)務人員很可能誰也說服不了對方來接受自己的數(shù)字,不得不要求數(shù)據(jù)維護人員額外投入工作量去解析差異根源,校準報表數(shù)據(jù)。
這個問題按照元數(shù)據(jù)技術的術語來講,就是在業(yè)務元數(shù)據(jù)上,大家對于業(yè)務的認識并不統(tǒng)一。這種問題會造成大量的時間成本浪費:
元數(shù)據(jù)管理平臺的建設就是為了避免出現(xiàn)這樣的問題。建設元數(shù)據(jù)管理平臺可以:
實現(xiàn)對技術元數(shù)據(jù)抽取、匯集、梳理,注釋相關庫表、列信息。支持查看完整數(shù)據(jù)鏈路和關聯(lián)圖譜。
梳理業(yè)務元數(shù)據(jù),將相關的指標、流程在平臺中建立起來,固化并傳播企業(yè)專業(yè)知識。
將業(yè)務元數(shù)據(jù)同技術元數(shù)據(jù)聯(lián)系起來,聯(lián)通業(yè)務與技術,給業(yè)務管理人員和技術維護人員提供更詳盡的指導。
就上文的舉例來看,就可以在元數(shù)據(jù)管理平臺上維護“當日用戶數(shù)”等易混淆指標,規(guī)范其數(shù)據(jù)來源,將其同技術庫表元數(shù)據(jù)關聯(lián)起來并作詳盡的注釋。報表建設以元數(shù)據(jù)管理平臺維護的業(yè)務知識為基準,這樣報表數(shù)據(jù)有章可循、有理有據(jù),消弭不必要的爭吵,各部門專心分析報表數(shù)據(jù),充分利用數(shù)據(jù)價值。
顯而易見,元數(shù)據(jù)管理平臺梳理企業(yè)資產、規(guī)范專業(yè)知識。推動元數(shù)據(jù)管理可以顯著降低數(shù)據(jù)準備成本:
元數(shù)據(jù)管理是基礎
元數(shù)據(jù)管理可以梳理企業(yè)資產,規(guī)范專業(yè)知識,降低數(shù)據(jù)準備期間溝通、反查、校正等大量重復和不必要投入,輔助提升數(shù)據(jù)分析效率,是數(shù)據(jù)管理的基礎。
如果你進行的數(shù)據(jù)處理越復雜,作為支撐的數(shù)據(jù)就需要更好。如果你同時兼顧了這兩件事,才能讓更多的人直接使用數(shù)據(jù)并為自己服務。很多時候我們往往“本末倒置”,碰到問題僅僅關注要如何解決,而忽略基礎的準備,不僅增加復雜度和重復工作量,還會花費大量的溝通、理解的成本。
元數(shù)據(jù)管理是基礎
額外的,元數(shù)據(jù)管理作為底層基礎,能使我們在后續(xù)進行集成操作,如處理云;在混合環(huán)境中做數(shù)據(jù)集成;在重復環(huán)境中做大數(shù)據(jù)時,獲取巨大的優(yōu)勢。事實上,將數(shù)據(jù)更快的交付給企業(yè)才是重點。
綜上,為了更快的數(shù)據(jù)分析和支撐業(yè)務,IT 中心的能力至關重要,因為它就是“80%”投入的來源。那么什么使一個成功的IT中心變得更加卓越。