近年來，隨著企業(yè)信息化的高速發(fā)展，數(shù)據(jù)治理工作陸續(xù)開展起來，但是隨著數(shù)據(jù)治理工作的逐步深入，數(shù)據(jù)質(zhì)量的重蹈覆轍問題越來越凸顯，甚至很多企業(yè)走進(jìn)了反復(fù)治理的怪圈。當(dāng)然，導(dǎo)致數(shù)據(jù)質(zhì)量重蹈覆轍的因素有多種，但無(wú)論如何都應(yīng)建立針對(duì)數(shù)據(jù)質(zhì)量防微杜漸的監(jiān)測(cè)、處理機(jī)制，把問題扼殺在搖籃階段。
2018年3月15日，中華人民共和國(guó)國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局、中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)發(fā)布了GB∕T 36073-2018數(shù)據(jù)管理能力成熟度評(píng)估模型，此模型對(duì)企業(yè)的數(shù)據(jù)管理能力進(jìn)行了分級(jí)，根據(jù)不同等級(jí)提出不同的改進(jìn)、發(fā)展建議，挺好的！但是這種評(píng)估成本較高，周期太長(zhǎng)，甚至很多企業(yè)很多年才能評(píng)估一次，哪怕國(guó)家鼓勵(lì)或者強(qiáng)制。
高速發(fā)展的社會(huì)、企業(yè)，快速變化的數(shù)據(jù)質(zhì)量需要我們具備快速響應(yīng)的能力，這個(gè)能力不能只是方法層級(jí)的，需要有對(duì)應(yīng)的工具才可以。360安全工具短短幾年從那么小發(fā)展到現(xiàn)在的規(guī)模，主要就是因?yàn)樗撵`活以及快速反應(yīng)非常適合當(dāng)下人的心理。
為了數(shù)據(jù)質(zhì)量的持續(xù)性良好，數(shù)據(jù)質(zhì)量項(xiàng)目后我們需要具備一個(gè)基于大數(shù)據(jù)行為分析的數(shù)據(jù)保養(yǎng)平臺(tái)（質(zhì)量評(píng)估、監(jiān)測(cè)、處理），而不是傳統(tǒng)意義的基于屬性字段級(jí)的技術(shù)驗(yàn)證。平臺(tái)需要具備實(shí)時(shí)探知數(shù)據(jù)質(zhì)量的能力，并且把數(shù)據(jù)質(zhì)量量化展現(xiàn)，同時(shí)提供問題數(shù)據(jù)處理的通道。具體邏輯架構(gòu)如圖1所示。
圖1 數(shù)據(jù)維護(hù)行為約束
類比一下，當(dāng)某一個(gè)人得病住院治療（包括打針、吃藥，甚至手術(shù)等），痊愈出院后，除了高興即將面臨的最大問題應(yīng)該是如何確保不再?gòu)?fù)發(fā)。因此，此人除了遵醫(yī)囑少吃肉、不喝酒、不抽煙等外，還會(huì)不斷的去醫(yī)院做各種復(fù)檢。
數(shù)據(jù)治理同樣的道理，數(shù)據(jù)生成后我們千萬(wàn)不要迷信本條數(shù)據(jù)的質(zhì)量100%沒有問題，或者說以后這條數(shù)據(jù)也100%不會(huì)再出問題。這里可能有人說沒關(guān)系啊，有點(diǎn)小問題很正常，不用去管。但你有沒有想過積少成多的道理，企業(yè)的發(fā)展還有N多年，長(zhǎng)期的累積疊加重蹈覆轍是必然的事，根據(jù)經(jīng)驗(yàn)傳統(tǒng)數(shù)據(jù)治理1-2年左右就會(huì)再次爆發(fā)數(shù)據(jù)質(zhì)量問題，到那時(shí)很多人就沒人說是小事了，甚至就成了你的責(zé)任了。
再次重申，對(duì)于企業(yè)數(shù)據(jù)質(zhì)量問題的解決，您還是想的簡(jiǎn)單了些！
因此，數(shù)據(jù)生成后的再次優(yōu)化（我們統(tǒng)稱數(shù)據(jù)保養(yǎng)）是未來數(shù)據(jù)治理的必然工作。
那么，數(shù)據(jù)保養(yǎng)平臺(tái)需要具備什么樣的技術(shù)才能夠達(dá)到我們理想的要求呢？近年來越來越多的人把目標(biāo)鎖定在了AI相關(guān)技術(shù)上，比如數(shù)據(jù)中臺(tái)就是希望通過AI技術(shù)進(jìn)行數(shù)據(jù)匯集后的質(zhì)量判斷、處理，但是最終發(fā)現(xiàn)深層次的數(shù)據(jù)質(zhì)量問題依然束手無(wú)策。
方向沒有錯(cuò)，AI技術(shù)一定會(huì)是未來數(shù)據(jù)質(zhì)量控制的主力，只不過現(xiàn)階段的技術(shù)還沒有達(dá)到相應(yīng)的標(biāo)準(zhǔn)，因?yàn)闈h語(yǔ)在不同環(huán)境下的五花八門的語(yǔ)義是需要機(jī)器多年的“刻苦學(xué)習(xí)”才有可能實(shí)現(xiàn)的，或許未來5-10年能達(dá)到讓我們滿意的標(biāo)準(zhǔn)。
現(xiàn)階段，我們只能通過長(zhǎng)期大量數(shù)據(jù)標(biāo)準(zhǔn)及標(biāo)準(zhǔn)數(shù)據(jù)的積累（這個(gè)需要廠商有10年以上的專注才可以），同時(shí)借用部分的大數(shù)據(jù)、AI技術(shù)進(jìn)行深層次數(shù)據(jù)質(zhì)量問題（如錯(cuò)別字，物資數(shù)據(jù)的復(fù)雜名稱、規(guī)格內(nèi)主副詞的叫法不當(dāng)、順序顛倒、缺失等）的發(fā)現(xiàn)、解決，我們暫且把它成為“大數(shù)據(jù)的行為分析”（對(duì)應(yīng)系統(tǒng)：數(shù)據(jù)評(píng)估監(jiān)測(cè)平臺(tái)）。要說明的是這個(gè)階段的技術(shù)一定要杜絕屬性字段級(jí)的表達(dá)式驗(yàn)證或者關(guān)聯(lián)驗(yàn)證，因?yàn)樵跀?shù)據(jù)維護(hù)階段已經(jīng)驗(yàn)證過了，這里沒有必要重復(fù)同樣的工作了。
數(shù)據(jù)生成后就要運(yùn)用大數(shù)據(jù)行為分析優(yōu)化數(shù)據(jù)質(zhì)量，如果數(shù)據(jù)源頭是在某業(yè)務(wù)系統(tǒng)中，當(dāng)數(shù)據(jù)生成后傳輸?shù)綌?shù)據(jù)治理平臺(tái)時(shí)發(fā)現(xiàn)了質(zhì)量問題，但這時(shí)此條數(shù)據(jù)已經(jīng)在某業(yè)務(wù)系統(tǒng)產(chǎn)生了業(yè)務(wù)，數(shù)據(jù)評(píng)估監(jiān)測(cè)平臺(tái)還可以直接深入到該業(yè)務(wù)系統(tǒng)的相關(guān)單據(jù)進(jìn)行靜態(tài)數(shù)據(jù)質(zhì)量的檢核、處理，具體細(xì)節(jié)這里就不再贅述。
數(shù)據(jù)保養(yǎng)十分重要，所以我們也是通過不斷地開發(fā)和研究，使中翰數(shù)據(jù)保養(yǎng)平臺(tái)既可以通過自定義內(nèi)置數(shù)據(jù)標(biāo)準(zhǔn)、標(biāo)準(zhǔn)數(shù)據(jù)及標(biāo)準(zhǔn)詞庫(kù)，還可以根據(jù)不同企業(yè)的不同數(shù)據(jù)類型進(jìn)行定制化的機(jī)器學(xué)習(xí)、算法等的開發(fā)、配置。
