本文來自微信公眾號(hào)“數(shù)據(jù)驅(qū)動(dòng)智能”,作者/曉曉。
你有沒有因?yàn)橐粭l不良的信息而讓你的整個(gè)工作日都不在線?您精心制作了一個(gè)充滿“工作塊”或“專注時(shí)間”的周歷,但緊迫的問題一出現(xiàn),您的議程就被拋在腦后了。數(shù)據(jù)工程師特別是與這種模式產(chǎn)生共鳴。業(yè)務(wù)用戶不知道儀表板中某個(gè)字段背后的轉(zhuǎn)換邏輯?找你。有人質(zhì)疑為什么這個(gè)特定表的保留是30天,而不是45天?找你?;蛘撸嬖诎l(fā)現(xiàn)哪些團(tuán)隊(duì)正在使用特定表的治理需求。找你。您被迫在接下來的五個(gè)小時(shí)內(nèi)調(diào)查丟失的信息,這些信息本應(yīng)存在于某處的匯合頁面中。通常情況下,找到這些答案通常是一項(xiàng)極其困難的任務(wù),這正是您首先被找的原因,它甚至可能導(dǎo)致所需的代碼更改。歸根結(jié)底,數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者都會(huì)感到更多的不信任、更多的挫敗感和更不情愿的合作。
為什么數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者之間存在這種脫節(jié)
如果您曾經(jīng)擔(dān)任過這兩個(gè)角色中的任何一個(gè),那么您很可能會(huì)親身體驗(yàn)當(dāng)前數(shù)據(jù)環(huán)境中數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者之間存在的明顯不一致。
數(shù)據(jù)消費(fèi)者無法準(zhǔn)確地將他們的需求傳達(dá)給數(shù)據(jù)生產(chǎn)者,導(dǎo)致不斷變化的請(qǐng)求、后期制作更新,以及范圍蔓延之大,以至于變成了范圍雪崩。在功能完成結(jié)束時(shí),最初的請(qǐng)求最初被正確傳達(dá)并且提供的數(shù)據(jù)滿足原始請(qǐng)求的可能性很小。
數(shù)據(jù)生產(chǎn)者很難理解歸因于新請(qǐng)求和當(dāng)前更新的商業(yè)價(jià)值。沒有優(yōu)先考慮最關(guān)鍵的業(yè)務(wù)流程,導(dǎo)致所有數(shù)據(jù)管道都被半維護(hù)。因?yàn)闆]有附加的投資回報(bào)率(ROI),所以不需要分配所有權(quán)。
很難正式量化缺乏一致性,但這種缺失的協(xié)作會(huì)導(dǎo)致各種下游后果。數(shù)據(jù)轉(zhuǎn)手越多,數(shù)據(jù)就越不可信,尤其是在大型組織中,數(shù)據(jù)在到達(dá)最終目的地之前要經(jīng)過幾個(gè)團(tuán)隊(duì)。您實(shí)質(zhì)上是在玩電話游戲,其中每個(gè)實(shí)體都有某種印記,可以改變其原始形式的數(shù)據(jù),但具有目標(biāo)數(shù)據(jù)輸出。這種不一致的原因可以追溯到數(shù)據(jù)缺乏所有權(quán)和問責(zé)制。這種脫節(jié)并非源于數(shù)據(jù)從業(yè)者本身,而是我們所處的當(dāng)前數(shù)據(jù)環(huán)境的結(jié)果。
雖然這聽起來很凄涼,但當(dāng)前的數(shù)據(jù)環(huán)境最近已將其重點(diǎn)轉(zhuǎn)移到增加數(shù)據(jù)旅程中極其重要的組成部分,例如數(shù)據(jù)所有權(quán)、數(shù)據(jù)問責(zé)制和數(shù)據(jù)治理。最近的討論主題之一圍繞著數(shù)據(jù)產(chǎn)品,以及如何利用數(shù)據(jù)產(chǎn)品來加強(qiáng)問責(zé)制并鼓勵(lì)數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者之間的協(xié)作。
數(shù)據(jù)產(chǎn)品是經(jīng)過打包的精選數(shù)據(jù)集,旨在為下游消費(fèi)者創(chuàng)造價(jià)值
精選——數(shù)據(jù)產(chǎn)品是需求驅(qū)動(dòng)的,是為特定需求而構(gòu)建的。
創(chuàng)造價(jià)值——數(shù)據(jù)產(chǎn)品通過以一種使數(shù)據(jù)更有用和更易于訪問的方式呈現(xiàn)數(shù)據(jù)來創(chuàng)造價(jià)值。
數(shù)據(jù)產(chǎn)品是一種創(chuàng)建精選數(shù)據(jù)集的創(chuàng)新、現(xiàn)代方式,可以跨團(tuán)隊(duì)保存、發(fā)布、搜索和使用這些數(shù)據(jù)集以提供商業(yè)價(jià)值。數(shù)據(jù)產(chǎn)品旨在解決有針對(duì)性的業(yè)務(wù)問題,數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者都應(yīng)該能夠輕松訪問數(shù)據(jù)產(chǎn)品。
關(guān)于這個(gè)定義有三個(gè)重要的特點(diǎn):
為特定目的而創(chuàng)建的數(shù)據(jù)產(chǎn)品必須出于某種原因被請(qǐng)求。當(dāng)手工選擇數(shù)據(jù)產(chǎn)品來解決所需的需求時(shí),數(shù)據(jù)產(chǎn)品就被策劃了。通常數(shù)據(jù)產(chǎn)品首先是與最高投資回報(bào)率產(chǎn)生的輸出相關(guān)聯(lián)的。
為了促進(jìn)數(shù)據(jù)自助化,數(shù)據(jù)產(chǎn)品通過可訪問和自助服務(wù)產(chǎn)生價(jià)值。那些需要訪問數(shù)據(jù)的人應(yīng)該能夠輕松實(shí)現(xiàn)訪問。
為任何下游消費(fèi)者打造的數(shù)據(jù)產(chǎn)品不僅為企業(yè)消費(fèi)者增加價(jià)值。整個(gè)組織的工程師都可以使用數(shù)據(jù)產(chǎn)品來快速定位有關(guān)選擇性數(shù)據(jù)輸出的關(guān)鍵信息。
定義數(shù)據(jù)產(chǎn)品的質(zhì)量
雖然數(shù)據(jù)可能是主角,但如果沒有圍繞它的所有其他元素,就無法講述任何類型的故事。當(dāng)我們討論數(shù)據(jù)產(chǎn)品時(shí),我們并不是專門討論目標(biāo)輸出,而是指對(duì)最終數(shù)據(jù)輸出有貢獻(xiàn)的所有信息。
數(shù)據(jù)產(chǎn)品的三個(gè)組成部分是:
數(shù)據(jù):數(shù)據(jù)產(chǎn)品的核心,可以采用表、視圖或物化視圖的形式
元數(shù)據(jù):與數(shù)據(jù)關(guān)聯(lián)的表定義,包括(但不限于)業(yè)務(wù)上下文、標(biāo)簽、沿襲信息、統(tǒng)計(jì)信息和所有權(quán)
訪問模式:用戶的預(yù)期訪問計(jì)劃,包括誰有權(quán)訪問特定數(shù)據(jù)、如何訪問該數(shù)據(jù)以及計(jì)算模式。
數(shù)據(jù)產(chǎn)品具有內(nèi)在的共享性,這就是為什么可以利用它們來加強(qiáng)協(xié)作。雖然數(shù)據(jù)產(chǎn)品通常是根據(jù)一個(gè)團(tuán)隊(duì)的初始請(qǐng)求創(chuàng)建的,但鼓勵(lì)在整個(gè)組織中廣泛共享數(shù)據(jù)產(chǎn)品。這不僅有助于加強(qiáng)協(xié)作,還有助于加強(qiáng)團(tuán)隊(duì)之間和團(tuán)隊(duì)內(nèi)部的問責(zé)制?,F(xiàn)在使用的數(shù)據(jù)有五個(gè)不同的團(tuán)隊(duì)在查看它,而不是每個(gè)團(tuán)隊(duì)都被迫維護(hù)自己的數(shù)據(jù)副本。
要?jiǎng)?chuàng)建有效的數(shù)據(jù)產(chǎn)品,每個(gè)數(shù)據(jù)產(chǎn)品都必須充當(dāng)一個(gè)獨(dú)立的實(shí)體。在與特定數(shù)據(jù)產(chǎn)品交互時(shí),應(yīng)該擁有所有需要的信息。雖然這并不意味著每個(gè)數(shù)據(jù)產(chǎn)品都必須在其中包含相同的組件,但這確實(shí)意味著數(shù)據(jù)產(chǎn)品提供了足夠的信息以通過允許其他人自助服務(wù)來增加價(jià)值。
數(shù)據(jù)產(chǎn)品需求
以對(duì)您的團(tuán)隊(duì)有意義的方式構(gòu)建數(shù)據(jù)產(chǎn)品時(shí),存在無限可能。然而,重要的是要牢記通過實(shí)施數(shù)據(jù)產(chǎn)品獲得什么:增強(qiáng)整個(gè)組織的數(shù)據(jù)所有權(quán)意識(shí)、數(shù)據(jù)責(zé)任感和數(shù)據(jù)民主化。在開始您的數(shù)據(jù)產(chǎn)品之旅時(shí),關(guān)注這四個(gè)必要條件將幫助您朝著這些目標(biāo)邁進(jìn)。
需求驅(qū)動(dòng)。數(shù)據(jù)產(chǎn)品的設(shè)計(jì)和構(gòu)建必須服務(wù)于明確的需求。為了構(gòu)建數(shù)據(jù)產(chǎn)品而構(gòu)建數(shù)據(jù)產(chǎn)品將導(dǎo)致半維護(hù)的數(shù)據(jù)集,并破壞了管理這種高質(zhì)量信息的整個(gè)目的。以意圖為基礎(chǔ)的數(shù)據(jù)產(chǎn)品將自動(dòng)推動(dòng)數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者之間更好的協(xié)作。
可重用和可擴(kuò)展。每個(gè)數(shù)據(jù)產(chǎn)品都應(yīng)設(shè)計(jì)為促進(jìn)跨多個(gè)用例的輕松重用,以提高數(shù)據(jù)民主化和數(shù)據(jù)問責(zé)制。在數(shù)據(jù)產(chǎn)品的整個(gè)設(shè)計(jì)過程中合并多個(gè)數(shù)據(jù)消費(fèi)者以實(shí)現(xiàn)這一點(diǎn)應(yīng)該很常見。雖然您可能擁有專為“一個(gè)”特定用例設(shè)計(jì)的產(chǎn)品,但它們應(yīng)該是絕大多數(shù)。
可發(fā)現(xiàn)和可訪問。數(shù)據(jù)產(chǎn)品的組織方式應(yīng)有助于團(tuán)隊(duì)快速查找和訪問所需信息,同時(shí)還具有共享能力以實(shí)現(xiàn)價(jià)值最大化。通過提供一種自助服務(wù)方法,數(shù)據(jù)產(chǎn)品正在為數(shù)據(jù)民主化和數(shù)據(jù)可訪問性的組織級(jí)戰(zhàn)略做出貢獻(xiàn)。
承諾的所有者。為了避免常見的陷阱,數(shù)據(jù)產(chǎn)品必須在整個(gè)生命周期內(nèi)得到妥善管理。從成立到退休,您需要一位接受過適當(dāng)職責(zé)培訓(xùn)的正式所有者。首先,您必須有一套既定的公開承諾,所有所有者都應(yīng)遵守這些承諾。接下來,應(yīng)該對(duì)數(shù)據(jù)產(chǎn)品進(jìn)行足夠的記錄,以便所有權(quán)之間的交接不會(huì)導(dǎo)致缺乏問責(zé)制。
我們?yōu)槭裁葱枰獢?shù)據(jù)產(chǎn)品:縮小運(yùn)營和分析之間的差距
在Zhamak Dehghani的原始數(shù)據(jù)網(wǎng)格帖子和她的書中,數(shù)據(jù)網(wǎng)格的一個(gè)關(guān)鍵方面是縮小運(yùn)營數(shù)據(jù)和分析數(shù)據(jù)之間的差距。運(yùn)營數(shù)據(jù)是支持運(yùn)營數(shù)據(jù)平臺(tái)的技術(shù)和人員的結(jié)合。同時(shí),分析數(shù)據(jù)是支持分析數(shù)據(jù)平臺(tái)的技術(shù)和人員的結(jié)合。
在Zhamak的書中,她指出,從數(shù)據(jù)倉庫方法過渡到數(shù)據(jù)網(wǎng)格方法的組織將涉及刪除數(shù)據(jù)倉庫層,并讓域負(fù)責(zé)來自運(yùn)營和分析的數(shù)據(jù)。
另一種思考這兩個(gè)平面的方式讓我告訴每個(gè)人都很懊惱,我長期以來一直認(rèn)為操作和分析平面是一塊維多利亞海綿蛋糕:
這塊蛋糕由兩層組成,頂部是分析平面,底部是操作平面。兩個(gè)平面之間有一層可愛的草莓醬,代表負(fù)責(zé)將數(shù)據(jù)從操作平面獲取到分析平面的數(shù)據(jù)管道。
數(shù)據(jù)倉庫、數(shù)據(jù)湖或數(shù)據(jù)湖屋位于分析平面,因此如果我們打算構(gòu)建僅基于這一層的數(shù)據(jù)產(chǎn)品,我們只會(huì)消耗蛋糕的上半部分。這不可避免地會(huì)導(dǎo)致我們的手指變得粘糊糊的。這在數(shù)據(jù)世界中意味著我們無法實(shí)現(xiàn)去中心化數(shù)據(jù)所有權(quán)所承諾的敏捷性。
原因是:要真正敏捷,域需要負(fù)責(zé)從操作系統(tǒng)中獲取數(shù)據(jù),轉(zhuǎn)換數(shù)據(jù),然后提供服務(wù)。當(dāng)我們引入數(shù)據(jù)倉庫時(shí),我們依靠一個(gè)集中的數(shù)據(jù)團(tuán)隊(duì)來執(zhí)行攝取和至少一些轉(zhuǎn)換,這是一種數(shù)據(jù)網(wǎng)格反模式。這不可避免地導(dǎo)致數(shù)據(jù)產(chǎn)品開發(fā)和管理緩慢。
我們從成功采用數(shù)據(jù)網(wǎng)格中學(xué)到的是,域需要構(gòu)建和管理其數(shù)據(jù)跨越操作和分析數(shù)據(jù)平面的數(shù)據(jù)產(chǎn)品。他們需要從上到下吃掉整塊蛋糕。
為了激勵(lì)域構(gòu)建數(shù)據(jù)產(chǎn)品并實(shí)現(xiàn)敏捷性,我們?cè)诩寄?、?zé)任和激勵(lì)方面看到了多種方法。在所有場(chǎng)景下,我們都需要確保每個(gè)域都具備構(gòu)建數(shù)據(jù)產(chǎn)品所需的技術(shù)和數(shù)據(jù)技能。
這會(huì)顯著增加企業(yè)層面的支出,并且可能會(huì)出現(xiàn)跨領(lǐng)域重復(fù)的昂貴數(shù)據(jù)工程技能。另一種方法是提供簡(jiǎn)化的訪問,抽象出對(duì)技術(shù)知識(shí)和技能的大部分需求,以訪問操作和分析中的數(shù)據(jù)。
這種方法大大降低了技術(shù)技能水平,從而降低了每個(gè)域內(nèi)專業(yè)資源的費(fèi)用,并確保數(shù)據(jù)仍然是關(guān)注點(diǎn)。
數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)管道
在過去的一年里,我聽到數(shù)據(jù)專業(yè)人士說數(shù)據(jù)網(wǎng)格消除了對(duì)數(shù)據(jù)管道的需求,但我觀察到的并非如此。管道還活著。然而,當(dāng)我們考慮數(shù)據(jù)網(wǎng)格中的管道時(shí),它們本質(zhì)上是數(shù)據(jù)產(chǎn)品的“鏈”。
例如,在上圖中,我們有一個(gè)數(shù)據(jù)產(chǎn)品,它從CRM系統(tǒng)獲取數(shù)據(jù)。它的輸出數(shù)據(jù)隨后被另一個(gè)以特定方式轉(zhuǎn)換它的數(shù)據(jù)產(chǎn)品使用。然后,我們有另一個(gè)數(shù)據(jù)產(chǎn)品,將該數(shù)據(jù)與另一個(gè)基于ERP系統(tǒng)的數(shù)據(jù)產(chǎn)品結(jié)合起來。
這很有趣并且與以前所做的不同的原因是我們現(xiàn)在對(duì)整個(gè)管道中的每個(gè)數(shù)據(jù)產(chǎn)品都有明確的所有權(quán)。如果數(shù)據(jù)管道出現(xiàn)問題,我們會(huì)立即知道責(zé)任人。
此外,數(shù)據(jù)產(chǎn)品所有者知道他們?cè)谙M(fèi)誰的數(shù)據(jù)以及誰在消費(fèi)他們的數(shù)據(jù)產(chǎn)品。這意味著數(shù)據(jù)產(chǎn)品所有者可以通知上游數(shù)據(jù)提供者和下游數(shù)據(jù)消費(fèi)者并就他們需要進(jìn)行的更改進(jìn)行協(xié)作。這個(gè)協(xié)作和通知目前在Data Mesh社區(qū)中正在經(jīng)歷激烈的爭(zhēng)論,尤其是圍繞數(shù)據(jù)契約的概念。
根據(jù)我的觀察,這些更改現(xiàn)在正在集成到版本控制系統(tǒng)中,以便各個(gè)數(shù)據(jù)產(chǎn)品所有者可以根據(jù)需要進(jìn)行版本化更改,而不受其數(shù)據(jù)產(chǎn)品消費(fèi)者的限制。
三類數(shù)據(jù)產(chǎn)品
接下來,當(dāng)我們考慮Zhamak的書中確定的數(shù)據(jù)產(chǎn)品類型時(shí),有三種明確定義。
#1源對(duì)齊數(shù)據(jù)產(chǎn)品
第一個(gè)是源對(duì)齊數(shù)據(jù)產(chǎn)品。這表示數(shù)據(jù)在操作系統(tǒng)中的原樣,轉(zhuǎn)換最少。我看到組織將這些作為創(chuàng)建更有價(jià)值的數(shù)據(jù)產(chǎn)品的第一步。
我在這里要進(jìn)行的觀察是,數(shù)據(jù)編織技術(shù)正開始用于半自主地創(chuàng)建這些第一級(jí)數(shù)據(jù)產(chǎn)品。我認(rèn)為這平息了一次又一次出現(xiàn)的爭(zhēng)論,圍繞哪個(gè)是組織的數(shù)據(jù)網(wǎng)格或數(shù)據(jù)編織的正確前進(jìn)路線;我建議答案可能是兩者。
在下圖中,我們可以看到使用數(shù)據(jù)編織來自動(dòng)創(chuàng)建源對(duì)齊數(shù)據(jù)產(chǎn)品,它可以充當(dāng)消費(fèi)者對(duì)齊數(shù)據(jù)產(chǎn)品的源。
#2與消費(fèi)者一致的數(shù)據(jù)產(chǎn)品
下一個(gè)數(shù)據(jù)產(chǎn)品類型是與消費(fèi)者一致的數(shù)據(jù)產(chǎn)品。當(dāng)“數(shù)據(jù)產(chǎn)品”被泛指時(shí)——這些是人們最常思考和討論的數(shù)據(jù)產(chǎn)品。
這些數(shù)據(jù)產(chǎn)品由域內(nèi)的業(yè)務(wù)專家生產(chǎn),這些專家通過業(yè)務(wù)知識(shí)和專業(yè)知識(shí)的編纂產(chǎn)生價(jià)值。要?jiǎng)?chuàng)建這些數(shù)據(jù)產(chǎn)品,我們需要盡可能少的“技術(shù)摩擦”。域?qū)<覒?yīng)該能夠在盡可能少的來自域內(nèi)外的額外幫助和專業(yè)知識(shí)的情況下創(chuàng)建這些數(shù)據(jù)產(chǎn)品。
#3聚合數(shù)據(jù)產(chǎn)品
最后,聚合數(shù)據(jù)產(chǎn)品的TL;DR定義是它們是在公司層面構(gòu)建的,以推動(dòng)全球KPI。
關(guān)于這些是什么以及它們與消費(fèi)者一致的數(shù)據(jù)產(chǎn)品有何不同的討論很多。但是,我們已經(jīng)看到組織以自己的方式定義了聚合數(shù)據(jù)產(chǎn)品。下圖說明了數(shù)據(jù)產(chǎn)品如何與企業(yè)級(jí)KPI和企業(yè)的業(yè)務(wù)目標(biāo)保持一致。
此外,我們可以看到一種自上而下的方法,我們定義了由跨業(yè)務(wù)部門KPI組成的公司KPI。較低級(jí)別的KPI由源對(duì)齊或消費(fèi)者對(duì)齊的域創(chuàng)建的數(shù)據(jù)產(chǎn)品。在此圖中,聚合數(shù)據(jù)產(chǎn)品是那些將來自跨業(yè)務(wù)部門KPI數(shù)據(jù)產(chǎn)品的數(shù)據(jù)匯集在一起以支持企業(yè)級(jí)KPI的數(shù)據(jù)產(chǎn)品。
利用使用指標(biāo)構(gòu)建有價(jià)值的數(shù)據(jù)產(chǎn)品
在涉及構(gòu)建數(shù)據(jù)產(chǎn)品等新計(jì)劃時(shí),數(shù)據(jù)治理通常是首要考慮的問題。當(dāng)我們考慮治理時(shí),從歷史上看,我們會(huì)考慮訪問控制、安全性、所有權(quán)、沿襲和使用指標(biāo)。使用指標(biāo)是一種記錄、報(bào)告和分類數(shù)據(jù)消費(fèi)者如何在其分析中利用數(shù)據(jù)的方式。
從數(shù)據(jù)產(chǎn)品開發(fā)人員的角度來看,使用指標(biāo)至關(guān)重要,因?yàn)樗鼈兪呛饬繑?shù)據(jù)產(chǎn)品價(jià)值的一種簡(jiǎn)單的方法。同時(shí),使用率越高,該數(shù)據(jù)產(chǎn)品對(duì)組織的價(jià)值就越高。這意味著數(shù)據(jù)產(chǎn)品開發(fā)人員知道應(yīng)該關(guān)注哪些數(shù)據(jù)產(chǎn)品,哪些應(yīng)該淘汰。從高級(jí)管理層的角度來看,我們可以實(shí)施使用指標(biāo)作為員工激勵(lì)和激勵(lì)的工具。
從最終用戶的角度來看,數(shù)據(jù)產(chǎn)品的使用指標(biāo)使我們能夠洞察數(shù)據(jù)產(chǎn)品的可信度。使用率越高,我們對(duì)數(shù)據(jù)產(chǎn)品的信任度就越高。
最初,我們需要進(jìn)行業(yè)務(wù)分析以破譯我們認(rèn)為哪些數(shù)據(jù)產(chǎn)品有價(jià)值。然后,基于數(shù)據(jù)使用報(bào)告,數(shù)據(jù)生產(chǎn)者可以采取主動(dòng)行動(dòng),使數(shù)據(jù)產(chǎn)品更易于使用、更易于查找和更有用。
簡(jiǎn)而言之,對(duì)于數(shù)據(jù)產(chǎn)品,我們想知道到底是誰在使用它們,我們想知道數(shù)據(jù)消費(fèi)者如何使用它們,以便我們衡量它們的價(jià)值。因此,我們可以從被動(dòng)數(shù)據(jù)管理轉(zhuǎn)變?yōu)橹鲃?dòng)數(shù)據(jù)管理。
從被動(dòng)到主動(dòng)的數(shù)據(jù)管理
從歷史上看,數(shù)據(jù)所有權(quán)一直是事后才想到的,并且由于數(shù)據(jù)沒有被視為產(chǎn)品,因此出于戰(zhàn)略原因?qū)?shù)據(jù)消耗的調(diào)整是非常被動(dòng)的。然而,隨著數(shù)據(jù)在數(shù)據(jù)網(wǎng)格中被視為產(chǎn)品,數(shù)據(jù)的生命周期變得主動(dòng)并且類似于任何其他產(chǎn)品。這是“數(shù)據(jù)資產(chǎn)”和“數(shù)據(jù)產(chǎn)品”之間的主要區(qū)別,這是定義任何數(shù)據(jù)產(chǎn)品的一種非常簡(jiǎn)單的方法。
數(shù)據(jù)產(chǎn)品的現(xiàn)代概念以產(chǎn)品管理技術(shù)為中心,這些技術(shù)將利益相關(guān)者定義的價(jià)值交付放在首位和中心位置。它鼓勵(lì)跨職能協(xié)作,打破孤島并提高整個(gè)企業(yè)的數(shù)據(jù)流暢性。
接下來,我們將探索創(chuàng)建價(jià)值驅(qū)動(dòng)數(shù)據(jù)產(chǎn)品的一些最佳實(shí)踐。
#1數(shù)據(jù)產(chǎn)品入門:從小處著手并迭代
開始使用數(shù)據(jù)產(chǎn)品時(shí),必須關(guān)注一兩個(gè)具有明確范圍和業(yè)務(wù)價(jià)值的特定用例。通過瞄準(zhǔn)具有高影響力的用例,組織可以快速取勝并向利益相關(guān)者展示數(shù)據(jù)產(chǎn)品的價(jià)值。這種方法還為組織提供了嘗試不同工具和方法并確定最適合他們的方法的機(jī)會(huì)。
專注于具有明確范圍和業(yè)務(wù)價(jià)值的用例是為持續(xù)的數(shù)據(jù)產(chǎn)品開發(fā)建立的一個(gè)關(guān)鍵習(xí)慣。鼓勵(lì)開發(fā)人員和業(yè)務(wù)利益相關(guān)者之間持續(xù)協(xié)作的迭代開發(fā)過程也是如此。團(tuán)隊(duì)需要共同努力,根據(jù)使用情況和反饋改進(jìn)數(shù)據(jù)產(chǎn)品。迭代過程通常會(huì)揭示開發(fā)人員和用戶對(duì)需求的新理解,并確保與業(yè)務(wù)需求保持一致。
#2開發(fā)數(shù)據(jù)產(chǎn)品:組建多學(xué)科團(tuán)隊(duì)
擁有業(yè)務(wù)和技術(shù)專業(yè)知識(shí)的多元化數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)對(duì)于開發(fā)數(shù)據(jù)產(chǎn)品至關(guān)重要。根據(jù)數(shù)據(jù)產(chǎn)品的性質(zhì),所需技能可能包括數(shù)據(jù)科學(xué)、數(shù)據(jù)工程、數(shù)據(jù)分析和數(shù)據(jù)可視化。至關(guān)重要的是,該團(tuán)隊(duì)的成員應(yīng)具有業(yè)務(wù)領(lǐng)域知識(shí),最好由利益相關(guān)者代表,并且具有產(chǎn)品管理技能。
擁有業(yè)務(wù)和技術(shù)專業(yè)知識(shí)的多元化數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)對(duì)于開發(fā)數(shù)據(jù)產(chǎn)品至關(guān)重要。
較大的組織通??梢栽谙聢D中所示的每個(gè)技能領(lǐng)域中將一個(gè)或多個(gè)人分配到數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)。較小的公司通常需要能夠?yàn)閳F(tuán)隊(duì)帶來多種技能并擔(dān)任不止一種角色的人。
數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)的知識(shí)和技能
#3實(shí)現(xiàn)數(shù)據(jù)產(chǎn)品的價(jià)值:數(shù)據(jù)產(chǎn)品交付平臺(tái)
為了實(shí)現(xiàn)其數(shù)據(jù)產(chǎn)品的潛在價(jià)值,組織必須讓用戶能夠找到、理解、訪問和信任它們。因此,數(shù)據(jù)產(chǎn)品交付平臺(tái)必不可少。它是一個(gè)自助服務(wù)門戶,使用戶能夠搜索或?yàn)g覽合適的數(shù)據(jù)產(chǎn)品,了解它們的潛在用途,并訪問它們或輕松請(qǐng)求訪問。數(shù)據(jù)消費(fèi)者還必須能夠評(píng)估產(chǎn)品質(zhì)量和可靠性,并確定他們是否可以信任滿足其需求的數(shù)據(jù)。因此,平臺(tái)應(yīng)提供元數(shù)據(jù)、文檔和數(shù)據(jù)質(zhì)量措施,以確保用戶了解產(chǎn)品的背景和局限性。
#4為用戶提供更多數(shù)據(jù):建立數(shù)據(jù)治理
精心制作的數(shù)據(jù)產(chǎn)品和良好的交付平臺(tái)將使更多的用戶可以使用更多的數(shù)據(jù)。對(duì)于一直在努力利用其數(shù)據(jù)的組織而言,這可能具有變革性。然而,它也可能陷入混亂。因此,當(dāng)務(wù)之急是為數(shù)據(jù)產(chǎn)品在廣泛可用之前必須滿足的元數(shù)據(jù)、文檔和數(shù)據(jù)質(zhì)量建立數(shù)據(jù)治理標(biāo)準(zhǔn)。自動(dòng)執(zhí)行這些標(biāo)準(zhǔn)對(duì)于跟上對(duì)數(shù)據(jù)產(chǎn)品不斷增長的需求也至關(guān)重要。以下是一些自動(dòng)執(zhí)行的方法:
●確保數(shù)據(jù)質(zhì)量。自動(dòng)化的數(shù)據(jù)驗(yàn)證、分析和清理可以幫助識(shí)別和糾正數(shù)據(jù)質(zhì)量問題,確保數(shù)據(jù)產(chǎn)品建立在準(zhǔn)確、可靠的數(shù)據(jù)之上。
●保護(hù)數(shù)據(jù)隱私和安全。自動(dòng)數(shù)據(jù)屏蔽、加密和訪問控制可以保護(hù)敏感信息,確保數(shù)據(jù)產(chǎn)品符合隱私和安全法規(guī)。
●促進(jìn)合規(guī)。自動(dòng)化的數(shù)據(jù)沿襲、審計(jì)跟蹤和策略執(zhí)行可以幫助組織證明其符合數(shù)據(jù)法規(guī)和行業(yè)標(biāo)準(zhǔn),從而最大限度地降低高額罰款和聲譽(yù)受損的風(fēng)險(xiǎn)。
除了自動(dòng)化之外,解決數(shù)據(jù)治理的人員和流程方面也很重要。明確定義數(shù)據(jù)治理的角色和職責(zé),以確保所有團(tuán)隊(duì)成員了解他們?cè)诰S護(hù)數(shù)據(jù)質(zhì)量、安全性和合規(guī)性方面的作用。通過培訓(xùn)、提高意識(shí)和獎(jiǎng)勵(lì)卓越來鼓勵(lì)數(shù)據(jù)治理文化。最后,監(jiān)控和測(cè)量關(guān)鍵數(shù)據(jù)治理指標(biāo),例如已識(shí)別和緩解的數(shù)據(jù)質(zhì)量問題、數(shù)據(jù)管道的可靠性以及可以刪除的未使用數(shù)據(jù)訪問權(quán)限。
小結(jié):數(shù)據(jù)產(chǎn)品是數(shù)據(jù)驅(qū)動(dòng)型組織必備的能力
將數(shù)據(jù)視為產(chǎn)品可確保團(tuán)隊(duì)將利益相關(guān)者的需求和業(yè)務(wù)價(jià)值放在首位。采用數(shù)據(jù)產(chǎn)品方法時(shí)要考慮的最重要的事情是:
專注于具有明確范圍和業(yè)務(wù)價(jià)值的用例。
●組建一個(gè)具有業(yè)務(wù)利益相關(guān)者代表的多學(xué)科數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)。
●通過頻繁的利益相關(guān)者反饋機(jī)會(huì)迭代開發(fā)數(shù)據(jù)產(chǎn)品。
●構(gòu)建強(qiáng)大的產(chǎn)品交付平臺(tái),使數(shù)據(jù)產(chǎn)品易于查找、理解、訪問和信任。
●建立自動(dòng)化數(shù)據(jù)治理以確保質(zhì)量和合規(guī)性,同時(shí)不妨礙創(chuàng)新。
通過這些方法,組織可以利用數(shù)據(jù)產(chǎn)品的力量推動(dòng)分析取得成功,并在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的世界中保持競(jìng)爭(zhēng)優(yōu)勢(shì)。