很多年以前,企業(yè)每天都在想方設(shè)法,把手頭的數(shù)據(jù)用好。
錢來(lái)貨往,大數(shù)據(jù)和人工智能火起來(lái)之后,沉淀的數(shù)據(jù)一下子多了起來(lái),如何管好+如何用好數(shù)據(jù),成為大多數(shù)企業(yè)的難題。
數(shù)據(jù)發(fā)揮價(jià)值是近10-20年才有的概念,這就帶出了數(shù)據(jù)治理。
在數(shù)據(jù)開(kāi)發(fā)的過(guò)程中,會(huì)冒出各種“糟心事兒”,五花八門(質(zhì)量、效率、安全等方面)。
而數(shù)據(jù)治理的任務(wù)就是,對(duì)于這種“事兒”,來(lái)一個(gè)“消滅”一個(gè)。
有的問(wèn)題三年五載都消除不了,那就(也)算(得)了(干)。
一般來(lái)說(shuō),數(shù)據(jù)治理研究的專家不會(huì)說(shuō)得這么接地氣,而是會(huì)說(shuō):“保障數(shù)據(jù)準(zhǔn)確、全面和完整,為業(yè)務(wù)創(chuàng)造價(jià)值,同時(shí)嚴(yán)格管理數(shù)據(jù)的權(quán)限,避免數(shù)據(jù)泄露帶來(lái)的業(yè)務(wù)風(fēng)險(xiǎn)。”
某位大型互聯(lián)網(wǎng)科技公司的研發(fā)負(fù)責(zé)人,和公司老總一起出差的時(shí)候,抓住時(shí)機(jī),用全程航班的時(shí)間安利了一把“數(shù)據(jù)中臺(tái)”。
老總把知識(shí)點(diǎn)吸收得很好,很喜歡,把“組件化”“標(biāo)準(zhǔn)化”“不重復(fù)造輪子”都學(xué)會(huì)了,就安排研發(fā)負(fù)責(zé)人去推動(dòng)。
閉門研究了一段時(shí)間后,研發(fā)負(fù)責(zé)人就拿出一個(gè)大圖,你干這個(gè),他干那個(gè)。完全按照理想化的思路,來(lái)了個(gè)天翻地覆式的大改動(dòng),無(wú)異于重新設(shè)計(jì)。
很多管理層一看到這個(gè)“藍(lán)圖”都傻眼了,心里又氣又恨,臉上還佯裝笑容。
表面上夸創(chuàng)新,背地里和哥幾個(gè)關(guān)系好的,交換眼色,把手放在脖子上做了個(gè)橫刀一抹的動(dòng)作。
數(shù)據(jù)中臺(tái)這塊蛋糕,關(guān)系到絕大部分?jǐn)?shù)據(jù)資產(chǎn)的管理權(quán)限,你動(dòng)了這塊蛋糕,也就是動(dòng)了管理者們的核心利益。
對(duì)于各個(gè)部門、各事業(yè)群的一把手來(lái)說(shuō),這無(wú)疑相當(dāng)于重新劃分“勢(shì)力范圍”。
數(shù)據(jù)中臺(tái)是解決數(shù)據(jù)治理問(wèn)題的方式之一,但不是唯一方式。
據(jù)該所的定義,數(shù)據(jù)治理就是為了確定一系列的原則和實(shí)踐,確保數(shù)據(jù)在其生命周期中的高質(zhì)量。
之前,一聽(tīng)到數(shù)據(jù)治理這四個(gè)字,人們的條件反射就是安全,管控,規(guī)章制度,條條框框。
公司里有資產(chǎn)放著不用,或者用不好,就是管理水平低,數(shù)據(jù)資產(chǎn)也一樣。
怎么樣把數(shù)據(jù)作為一個(gè)服務(wù)提供出來(lái),給整個(gè)公司的技術(shù)團(tuán)隊(duì),甚至說(shuō)非技術(shù)團(tuán)隊(duì),用起來(lái)。
數(shù)據(jù)孤島,始終存在,員工想在公司里看到更多數(shù)據(jù),成了一項(xiàng)情商測(cè)試。
兩個(gè)部門之間,即便一個(gè)部門的老板批了,對(duì)方部門的老板批了,提供數(shù)據(jù)的方式可能還是發(fā)郵件或者U盤拷貝,十分落后。
一些科技企業(yè)數(shù)據(jù)治理的主要“業(yè)績(jī)”,就是促進(jìn)跨部門的數(shù)據(jù)合作和使用。
即使萌生了一星半點(diǎn)意識(shí),其目標(biāo)也只停留在合法合規(guī)安全管控不出亂子。
甚至,不少傳統(tǒng)企業(yè)連“促進(jìn)跨部門數(shù)據(jù)使用”這個(gè)意識(shí)都沒(méi)有。
比如,美團(tuán)的數(shù)據(jù)科學(xué)與平臺(tái)部,京東零售下面的京東技術(shù)與數(shù)據(jù)中心,快手科技主站產(chǎn)品部下面的數(shù)據(jù)分析部。
百度科技的大數(shù)據(jù)部,以前級(jí)別挺高,現(xiàn)在在百度AI技術(shù)平臺(tái)體系內(nèi)了。
經(jīng)過(guò)數(shù)據(jù)治理的一番努力,以前唯有數(shù)據(jù)技術(shù)部門能用的數(shù)據(jù),會(huì)有更多的部門能用。
原來(lái)非數(shù)據(jù)部門、非技術(shù)部門沒(méi)權(quán)利去管理,同時(shí)也沒(méi)有義務(wù)去維護(hù)這些數(shù)據(jù)的質(zhì)量。
現(xiàn)在不一樣了,有權(quán)利去用,也要有更大的責(zé)任,去維護(hù)數(shù)據(jù)質(zhì)量。
負(fù)責(zé)數(shù)據(jù)治理的團(tuán)隊(duì),即使看到了“糟心問(wèn)題”在某幾個(gè)團(tuán)隊(duì)之間扯皮,也不能直接介入處理。
要把問(wèn)題整理成“共通的痛點(diǎn)”,先給決策層做提案,做建議,然后才有下一步。
如此一來(lái),很多數(shù)據(jù)治理問(wèn)題,經(jīng)年歷久,拖成了“冤案”。
短期還是依靠發(fā)郵件或者是U盤拷貝數(shù)據(jù),如此這般,至少還能用上。
有些公司被逼做“數(shù)據(jù)治理”的動(dòng)力,也是啟動(dòng)數(shù)據(jù)治理的大背景,是數(shù)據(jù)質(zhì)量存在問(wèn)題。
比如數(shù)倉(cāng)的及時(shí)性、準(zhǔn)確性、規(guī)范性,數(shù)據(jù)應(yīng)用指標(biāo)的邏輯一致性等問(wèn)題。
過(guò)去,企業(yè)內(nèi)部開(kāi)發(fā)的大部分?jǐn)?shù)據(jù)系統(tǒng),是為了解決某一個(gè)業(yè)務(wù)的問(wèn)題而開(kāi)發(fā)的。
在開(kāi)發(fā)數(shù)據(jù)系統(tǒng)的時(shí)候,并沒(méi)有考慮到將來(lái)這部分的數(shù)據(jù)資產(chǎn)要用在別處(其他業(yè)務(wù)、其他系統(tǒng)、其他領(lǐng)域所用)。
一段時(shí)間之后,別人用到這些數(shù)據(jù)的時(shí)候,不管從技術(shù)的性能,還是各種服務(wù)SLA(服務(wù)級(jí)別協(xié)議)的角度來(lái)講,可用性都較低。
變化一定是越來(lái)越多的,比如說(shuō)數(shù)據(jù)源從單一,變成了多個(gè)。
種類由關(guān)系型數(shù)據(jù)庫(kù)為主,變成文檔、圖像、視頻、聲音、時(shí)間序列。
比如REI是一個(gè)美國(guó)人喜愛(ài)的戶外用品零售商,REI使用Tableau整合了來(lái)自75個(gè)數(shù)據(jù)源的數(shù)據(jù),使得REI可以分析完整的客戶體驗(yàn)。
數(shù)據(jù)的使用從BI報(bào)表、看板、大屏,到ad-hoc商業(yè)分析、數(shù)據(jù)科學(xué)分析、機(jī)器學(xué)習(xí)應(yīng)用。
還有,原來(lái)以數(shù)據(jù)倉(cāng)庫(kù)為中心的技術(shù)棧相對(duì)簡(jiǎn)單,只需要管好ETL的過(guò)程、存儲(chǔ)過(guò)程、查詢引擎、可視化,就可以了。
現(xiàn)在可好,技術(shù)棧爆炸式地增長(zhǎng),要管的東西掰著手指頭數(shù)不過(guò)來(lái)。
Huel這家代餐食品公司就是這么說(shuō)的,而且他們還說(shuō)能夠以98%的準(zhǔn)確率來(lái)預(yù)測(cè)一月份每天的銷售量(該公司業(yè)務(wù)特點(diǎn)是預(yù)測(cè)一月份銷量最難)。
無(wú)論出于何種無(wú)奈,數(shù)據(jù)治理遲早要做,極少數(shù)走得快的,甚至用上了“超級(jí)智能化”服務(wù)。
反正,窮的窮死,富的富死,還有很多企業(yè)焦慮得要死。