大數(shù)據(jù)將可能幫助所有企業(yè)保持競(jìng)爭(zhēng)力，因此越來(lái)越多的企業(yè)開(kāi)始利用大數(shù)據(jù)應(yīng)用技術(shù)提高企業(yè)生產(chǎn)力?，F(xiàn)如今，大數(shù)據(jù)應(yīng)用正逐漸成為一種潮流趨勢(shì)，并且已經(jīng)在各大企業(yè)中展露頭角。大數(shù)據(jù)時(shí)代，必將是一次翻天覆地的變革。
越來(lái)越多的企業(yè)領(lǐng)導(dǎo)者開(kāi)始意識(shí)到大數(shù)據(jù)對(duì)企業(yè)的巨大影響，但是，有一個(gè)重要的提醒：如果企業(yè)的數(shù)據(jù)不準(zhǔn)確，不完整且一致，則在做出業(yè)務(wù)決策時(shí)可能會(huì)導(dǎo)致重大失誤。實(shí)際上，Gartne估計(jì)數(shù)據(jù)質(zhì)量不佳對(duì)企業(yè)的平均財(cái)務(wù)影響為每年1,500萬(wàn)美元，這意味著數(shù)據(jù)質(zhì)量發(fā)揮著重要任用。
什么是數(shù)據(jù)質(zhì)量管理？
數(shù)據(jù)質(zhì)量管理是指需要將合適的人員、流程和技術(shù)組合在一起的業(yè)務(wù)原則，其共同目標(biāo)是改進(jìn)對(duì)企業(yè)最重要的數(shù)據(jù)質(zhì)量。重要的是，數(shù)據(jù)質(zhì)量管理的最終目的不僅僅是為了獲得高質(zhì)量的數(shù)據(jù)而提高數(shù)據(jù)質(zhì)量，而是為了實(shí)現(xiàn)依賴(lài)于高質(zhì)量數(shù)據(jù)的業(yè)務(wù)成果。
高質(zhì)量數(shù)據(jù)的基礎(chǔ)
有效的數(shù)據(jù)質(zhì)量管理需要一個(gè)可以支持?jǐn)?shù)據(jù)操作的結(jié)構(gòu)核心。以下是在數(shù)據(jù)基礎(chǔ)架構(gòu)中實(shí)施高質(zhì)量大數(shù)據(jù)的五個(gè)基本原則：
1組織結(jié)構(gòu)
在整個(gè)企業(yè)中實(shí)施數(shù)據(jù)質(zhì)量管理實(shí)踐時(shí)，IT領(lǐng)導(dǎo)應(yīng)考慮以下角色：
項(xiàng)目經(jīng)理：該角色確定了數(shù)據(jù)質(zhì)量的基調(diào)，有助于建立數(shù)據(jù)質(zhì)量要求。他還負(fù)責(zé)處理日常數(shù)據(jù)質(zhì)量管理任務(wù)，確保團(tuán)隊(duì)按計(jì)劃在預(yù)算范圍內(nèi)并滿足預(yù)定的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。
組織變更經(jīng)理：這個(gè)人有助于在有效使用數(shù)據(jù)時(shí)發(fā)生的變更管理轉(zhuǎn)變，他們會(huì)對(duì)數(shù)據(jù)基礎(chǔ)架構(gòu)和流程做出決策。
數(shù)據(jù)分析師或業(yè)務(wù)分析師：此人解釋和報(bào)告數(shù)據(jù)。
數(shù)據(jù)管理員：數(shù)據(jù)管理員負(fù)責(zé)將數(shù)據(jù)作為公司資產(chǎn)進(jìn)行管理。
數(shù)據(jù)質(zhì)量問(wèn)題是大數(shù)據(jù)應(yīng)用的關(guān)鍵
2數(shù)據(jù)質(zhì)量定義
很簡(jiǎn)單，如果您沒(méi)有質(zhì)量數(shù)據(jù)的定義標(biāo)準(zhǔn)，您怎么知道您是否達(dá)到或超過(guò)它？
關(guān)于數(shù)據(jù)質(zhì)量的數(shù)據(jù)質(zhì)量定義因行業(yè)和組織而異。但是，定義這些規(guī)則對(duì)于成功使用商業(yè)智能軟件至關(guān)重要。
企業(yè)希望在創(chuàng)建數(shù)據(jù)質(zhì)量定義時(shí)考慮高質(zhì)量數(shù)據(jù)的以下特征：
完整性：數(shù)據(jù)如何與預(yù)先建立的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)疊加？
有效性：數(shù)據(jù)是否符合給定數(shù)據(jù)集的值？
唯一性：一組數(shù)據(jù)出現(xiàn)在一組中的頻率是多少？
準(zhǔn)確性：數(shù)據(jù)的準(zhǔn)確性如何？
一致性：在不同的數(shù)據(jù)集中，相同的數(shù)據(jù)是否保持相同的值？
此外，為了確保每次都滿足這些特性，數(shù)據(jù)保護(hù)專(zhuān)家在實(shí)施數(shù)據(jù)質(zhì)量管理策略時(shí)建議采用以下指導(dǎo)性治理原則：
問(wèn)責(zé)制：誰(shuí)負(fù)責(zé)確保數(shù)據(jù)質(zhì)量管理？
透明度：如何記錄數(shù)據(jù)質(zhì)量管理以及這些文檔在哪里可用？
保護(hù)：采取了哪些措施來(lái)保護(hù)數(shù)據(jù)？
合規(guī)性：哪些合規(guī)機(jī)構(gòu)確保滿足治理原則？
3數(shù)據(jù)分析審核
數(shù)據(jù)分析是一種確保數(shù)據(jù)質(zhì)量的審計(jì)過(guò)程。在此過(guò)程中，審計(jì)人員會(huì)根據(jù)元數(shù)據(jù)和現(xiàn)有度量查找數(shù)據(jù)驗(yàn)證，然后他們報(bào)告數(shù)據(jù)的質(zhì)量。
4數(shù)據(jù)報(bào)告和監(jiān)測(cè)
指的是監(jiān)視、報(bào)告和記錄異常的過(guò)程。商業(yè)智能（BI）軟件可以捕獲這些異常，用于自動(dòng)解決方案，以便在錯(cuò)誤數(shù)據(jù)可用之前捕獲這些異常數(shù)據(jù)。
5糾正錯(cuò)誤
一旦BI系統(tǒng)整理出潛在的不良或不完整的數(shù)據(jù)，就應(yīng)該進(jìn)行適當(dāng)?shù)臄?shù)據(jù)更正，例如完成數(shù)據(jù)，刪除重復(fù)數(shù)據(jù)或解決其他一些數(shù)據(jù)問(wèn)題。
工欲善其事必先利其器
大數(shù)據(jù)治理的落地開(kāi)展離不開(kāi)工具的支撐。大數(shù)據(jù)治理工具一般分為兩類(lèi)：一類(lèi)是單個(gè)工具，另一類(lèi)是集成平臺(tái)，用于不同的階段、場(chǎng)景和客戶(hù)。
下面介紹一款數(shù)據(jù)質(zhì)量管理平臺(tái)EsDataclean，系億信華辰自主研發(fā)，已經(jīng)過(guò)衛(wèi)生、法院、電力、銀行、合作伙伴等客戶(hù)的檢驗(yàn)，用于解決業(yè)務(wù)系統(tǒng)運(yùn)行、數(shù)據(jù)倉(cāng)庫(kù)建設(shè)及數(shù)據(jù)治理過(guò)程中的各種數(shù)據(jù)質(zhì)量問(wèn)題。
特色一：助力構(gòu)建數(shù)據(jù)質(zhì)量規(guī)則庫(kù)
1.內(nèi)嵌13種規(guī)則，基本能覆蓋目前數(shù)據(jù)質(zhì)量相關(guān)問(wèn)題。
2.可由實(shí)施工程師在圖形化界面上根據(jù)業(yè)務(wù)需求配置，無(wú)須編寫(xiě)腳本。
3.如規(guī)則不夠，還可以動(dòng)態(tài)擴(kuò)展。
特色二：靈活定義多模型質(zhì)檢方案、性能高效
1.多點(diǎn)監(jiān)測(cè)、多模型質(zhì)檢方案，高效調(diào)度，并發(fā)和串行處理相結(jié)合。
2.性能高效，只需2分30秒，便可完成20條規(guī)則百萬(wàn)級(jí)數(shù)據(jù)的質(zhì)量檢查。
特色三：提供圖文并茂的質(zhì)量檢查結(jié)果報(bào)告
1.內(nèi)置常規(guī)質(zhì)檢分析報(bào)告，實(shí)時(shí)可視化呈現(xiàn)對(duì)質(zhì)檢結(jié)果的分析。
2.質(zhì)檢結(jié)果模型靈活擴(kuò)展，充分利用了BI工具的分析展現(xiàn)能力，快速實(shí)現(xiàn)客戶(hù)化擴(kuò)展定制。
在整個(gè)數(shù)據(jù)治理環(huán)節(jié)，億信數(shù)據(jù)質(zhì)量管理平臺(tái)從找到問(wèn)題數(shù)據(jù)開(kāi)始，控制數(shù)據(jù)質(zhì)量，貫徹始終，全面提升數(shù)據(jù)的完整性、規(guī)范性、及時(shí)性、一致性，減少因數(shù)據(jù)不可靠導(dǎo)致的決策偏差和損失。
（原標(biāo)題：數(shù)據(jù)質(zhì)量問(wèn)題是大數(shù)據(jù)應(yīng)用的關(guān)鍵）
