2021年已經(jīng)到來(lái)，現(xiàn)在是深入研究大數(shù)據(jù)分析面臨的挑戰(zhàn)的時(shí)候了，需要調(diào)查其根本原因，本文重點(diǎn)介紹了解決這些問(wèn)題的潛在解決方案。
在開始使用大數(shù)據(jù)分析系統(tǒng)時(shí)，組織最好考慮周全。因?yàn)橐坏┐髷?shù)據(jù)分析已經(jīng)啟動(dòng)運(yùn)行，任何修復(fù)都可能成本高昂。
在當(dāng)今的數(shù)字世界中，很多組織采用大數(shù)據(jù)分析系統(tǒng)改進(jìn)業(yè)務(wù)決策、增強(qiáng)責(zé)任感、提高生產(chǎn)率、做出更好的預(yù)測(cè)、監(jiān)控績(jī)效，并獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。然而，許多組織在戰(zhàn)略層面上使用商業(yè)智能分析存在一些問(wèn)題。根據(jù)調(diào)研機(jī)構(gòu)Gartner公司的調(diào)查，87%的組織表示商業(yè)智能(BI)和分析成熟度較低，缺乏數(shù)據(jù)指導(dǎo)和支持。業(yè)務(wù)數(shù)據(jù)分析面臨的問(wèn)題不僅與分析本身有關(guān)，還可能與深層次的系統(tǒng)或基礎(chǔ)設(shè)施問(wèn)題有關(guān)。
1.解決方案無(wú)法提供新見(jiàn)解或及時(shí)的見(jiàn)解
很多組織投資采用新的大數(shù)據(jù)業(yè)務(wù)分析解決方案，力求獲得獨(dú)特的見(jiàn)解，以幫助領(lǐng)導(dǎo)者做出更明智的業(yè)務(wù)決策。但有時(shí)，新系統(tǒng)提供的見(jiàn)解似乎還不如以往采用的系統(tǒng)提供的見(jiàn)解水平和質(zhì)量。組織可以從業(yè)務(wù)或技術(shù)的角度來(lái)解決這個(gè)問(wèn)題。
(1)數(shù)據(jù)不足
有些組織可能由于分析數(shù)據(jù)不足，無(wú)法生成新的見(jiàn)解。這可能是由于缺乏數(shù)據(jù)集成或數(shù)據(jù)組織不當(dāng)造成的。
在這種情況下，可以進(jìn)行數(shù)據(jù)審核，并確?，F(xiàn)有數(shù)據(jù)集成提供所需的見(jiàn)解。新數(shù)據(jù)源的集成也可以消除數(shù)據(jù)的缺乏。還需要檢查原始數(shù)據(jù)是如何進(jìn)入系統(tǒng)的，并確保所有可能的維度和指標(biāo)均已經(jīng)公開并進(jìn)行分析。最后，數(shù)據(jù)存儲(chǔ)的多樣性也可能是一個(gè)問(wèn)題。可以通過(guò)引入數(shù)據(jù)湖來(lái)解決這一問(wèn)題。
(2)數(shù)據(jù)響應(yīng)慢
當(dāng)組織需要實(shí)時(shí)接收見(jiàn)解時(shí)，通常會(huì)發(fā)生這種情況，但是其系統(tǒng)是為批處理而設(shè)計(jì)的。因此有些數(shù)據(jù)現(xiàn)在仍無(wú)法使用，因?yàn)樗鼈內(nèi)栽谑占蝾A(yù)處理中。
檢查組織的ETL(提取、轉(zhuǎn)換、加載)是否能夠根據(jù)更頻繁的計(jì)劃來(lái)處理數(shù)據(jù)。在某些情況下，批處理驅(qū)動(dòng)的解決方案可以將計(jì)劃調(diào)整提高兩倍。另一個(gè)選擇是使用一種稱為L(zhǎng)ambda架構(gòu)的方法，該方法允許組織將傳統(tǒng)的批處理管道與快速的實(shí)時(shí)流結(jié)合起來(lái)。
(3)新系統(tǒng)采用舊方法
雖然組織采用了新系統(tǒng)。但是通過(guò)原有的辦法很難獲得更好的答案。這主要是一個(gè)業(yè)務(wù)問(wèn)題，并且針對(duì)這一問(wèn)題的解決方案因情況而異。最好的方法是咨詢行業(yè)專家，行業(yè)專家在分析方法方面擁有豐富經(jīng)驗(yàn)，并且了解其業(yè)務(wù)領(lǐng)域。
2.不準(zhǔn)確的分析
對(duì)組織來(lái)說(shuō)，沒(méi)有什么比不正確的分析更糟糕的事情了，這個(gè)問(wèn)題需要盡快解決。
(1)源數(shù)據(jù)質(zhì)量差
如果組織的系統(tǒng)依賴于有缺陷、錯(cuò)誤或不完整的數(shù)據(jù)，那么獲得的結(jié)果將會(huì)很糟糕。數(shù)據(jù)質(zhì)量管理和涵蓋ETL過(guò)程每個(gè)階段的強(qiáng)制性數(shù)據(jù)驗(yàn)證過(guò)程，可以幫助確保不同級(jí)別(語(yǔ)法、語(yǔ)義、業(yè)務(wù)等)的傳入數(shù)據(jù)的質(zhì)量。它使組織能夠識(shí)別并清除錯(cuò)誤，并確保對(duì)某個(gè)區(qū)域的修改立即顯示出來(lái)，從而使數(shù)據(jù)純凈而準(zhǔn)確。
(2)與數(shù)據(jù)流有關(guān)的系統(tǒng)缺陷
當(dāng)由于開發(fā)、測(cè)試或驗(yàn)證過(guò)程中的人為錯(cuò)誤而忽略或沒(méi)有完全滿足系統(tǒng)的需求時(shí)，就會(huì)發(fā)生這種情況。
通過(guò)對(duì)開發(fā)生命周期進(jìn)行高質(zhì)量的測(cè)試和驗(yàn)證，可以減少此類問(wèn)題的發(fā)生，從而最大程度地減少數(shù)據(jù)處理問(wèn)題。即使使用高質(zhì)量數(shù)據(jù)，組織的分析也可能會(huì)提供不準(zhǔn)確的結(jié)果。在這種情況下，有必要對(duì)系統(tǒng)進(jìn)行詳細(xì)檢查，并檢查數(shù)據(jù)處理算法的實(shí)施是否無(wú)故障。
3.在復(fù)雜的環(huán)境中使用數(shù)據(jù)分析
這個(gè)問(wèn)題可能會(huì)使為創(chuàng)建有效解決方案而投入的所有努力付諸東流。如果使用的數(shù)據(jù)分析變得太復(fù)雜，可能會(huì)發(fā)現(xiàn)很難從數(shù)據(jù)中提取價(jià)值。復(fù)雜性問(wèn)題通常歸結(jié)為用戶體驗(yàn)(當(dāng)用戶很難瀏覽系統(tǒng)并從報(bào)告中獲取信息時(shí))或技術(shù)方面(當(dāng)系統(tǒng)設(shè)計(jì)過(guò)度時(shí))。
(1)數(shù)據(jù)可視化顯示凌亂
如果組織的報(bào)告復(fù)雜程度太高。這很耗時(shí)或很難找到必要的信息?？梢酝ㄟ^(guò)聘請(qǐng)用戶界面(UI)/用戶體驗(yàn)(UX)專家來(lái)解決此問(wèn)題，這將幫助組織創(chuàng)建引人注目的用戶界面，該界面易于瀏覽和使用。
(2)系統(tǒng)設(shè)計(jì)過(guò)度
數(shù)據(jù)分析系統(tǒng)處理的場(chǎng)景很多，并且為組織提供了比其需要還要多的功能，從而模糊了重點(diǎn)。這也會(huì)消耗更多的硬件資源，并增加成本。因此，用戶只能使用部分功能，其他的一些功能有些浪費(fèi)，并且其解決方案過(guò)于復(fù)雜。
確定多余的功能對(duì)于組織很重要。使組織的團(tuán)隊(duì)定義關(guān)鍵指標(biāo)：希望可以準(zhǔn)確地測(cè)量和分析什么，經(jīng)常使用哪些功能以及關(guān)注點(diǎn)是什么。然后摒棄所有不必要的功能。讓業(yè)務(wù)領(lǐng)域的專家來(lái)幫助組織進(jìn)行數(shù)據(jù)分析也是一個(gè)很好的選擇。
4.系統(tǒng)響應(yīng)時(shí)間長(zhǎng)
即使輸入數(shù)據(jù)已經(jīng)可用，數(shù)據(jù)分析系統(tǒng)仍然花費(fèi)大量時(shí)間來(lái)分析數(shù)據(jù)，并且需要快速提交報(bào)告。對(duì)于批處理而言，它可能并不那么重要，但是對(duì)于實(shí)時(shí)系統(tǒng)而言，這種延遲可能會(huì)花費(fèi)很多成本。
(1)數(shù)據(jù)組織效率低下
也許組織的數(shù)據(jù)組織起來(lái)非常困難。最好檢查其數(shù)據(jù)倉(cāng)庫(kù)是否根據(jù)所需的用例和方案進(jìn)行設(shè)計(jì)。如果不是這樣，重新設(shè)計(jì)肯定會(huì)有所幫助。
(2)大數(shù)據(jù)分析基礎(chǔ)設(shè)施和資源利用問(wèn)題
問(wèn)題可能出在系統(tǒng)本身，這意味著它已達(dá)到其可擴(kuò)展性極限，也可能是組織的硬件基礎(chǔ)設(shè)施不再足夠。
這里最簡(jiǎn)單的解決方案是升級(jí)，即為系統(tǒng)添加更多計(jì)算資源。只要它能在可承受的預(yù)算范圍內(nèi)幫助改善系統(tǒng)響應(yīng)，并且只要資源得到合理利用就很好。從戰(zhàn)略角度來(lái)看，更明智的方法是將系統(tǒng)拆分為單獨(dú)的組件，并對(duì)其進(jìn)行獨(dú)立擴(kuò)展。但是需要記住的是，這可能需要對(duì)系統(tǒng)重新設(shè)計(jì)并進(jìn)行額外的投資。
5.維護(hù)成本昂貴
任何系統(tǒng)都需要對(duì)其維護(hù)和對(duì)基礎(chǔ)設(shè)施進(jìn)行持續(xù)投資。每個(gè)組織都希望盡量減少這些投資。因此，即使對(duì)降低維護(hù)和基礎(chǔ)設(shè)施的成本感到滿意，也需要重新研究一下系統(tǒng)，并確保沒(méi)有支付過(guò)高的費(fèi)用。
(1)過(guò)時(shí)的技術(shù)
每天都會(huì)出現(xiàn)可以更快、成本更低處理更多數(shù)據(jù)量的新技術(shù)。因此，與現(xiàn)代技術(shù)相比，組織的分析技術(shù)遲早會(huì)過(guò)時(shí)，需要采用更多的硬件資源，并且維護(hù)成本會(huì)更高。也難以找到愿意基于傳統(tǒng)技術(shù)開發(fā)和支持解決方案的專家。
組織最好的解決辦法是采用新技術(shù)。從長(zhǎng)遠(yuǎn)來(lái)看，它們不僅可以降低系統(tǒng)的維護(hù)成本，還可以提高可靠性、可用性和可擴(kuò)展性。逐步進(jìn)行系統(tǒng)重新設(shè)計(jì)，并逐步采用新元素替換舊元素也很重要。
(2)并非最佳的基礎(chǔ)設(shè)施
基礎(chǔ)設(shè)施總有一些優(yōu)化成本的空間。如果組織仍然采用的是內(nèi)部部署設(shè)施，將業(yè)務(wù)遷移到云平臺(tái)可能是一個(gè)不錯(cuò)的選擇。使用云計(jì)算解決方案，組織可以按需付費(fèi)，從而顯著降低成本。如果對(duì)安全性有任何限制，仍然可以遷移到私有云。如果已經(jīng)在云平臺(tái)上運(yùn)營(yíng)，需要檢查是否有效地使用，并確保已經(jīng)實(shí)施了所有的最佳實(shí)踐來(lái)削減開支。
(3)選擇了設(shè)計(jì)過(guò)度的系統(tǒng)
如果組織沒(méi)有使用大多數(shù)系統(tǒng)功能，則需要繼續(xù)為其使用的基礎(chǔ)設(shè)施支付費(fèi)用。組織根據(jù)自己的需求修改業(yè)務(wù)指標(biāo)并優(yōu)化系統(tǒng)?？梢圆捎酶臃蠘I(yè)務(wù)需求的簡(jiǎn)單版本替換某些組件。
結(jié)論
組織可以調(diào)整現(xiàn)有的業(yè)務(wù)分析平臺(tái)，但可能會(huì)變成一項(xiàng)艱巨的任務(wù)。如果組織在新的解決方案設(shè)計(jì)和實(shí)施中錯(cuò)過(guò)了某些內(nèi)容，則可能會(huì)浪費(fèi)時(shí)間和資金。
