像許多其他的IT功能一樣，數(shù)據(jù)分析也正在向云端轉移。但與其他基于云的努力一樣，這既帶來了機遇，也帶來了挑戰(zhàn)。
Gartner所列舉的2021年十大數(shù)據(jù)和分析技術的趨勢之一是使用開放的、容器化的分析架構，使分析功能更加具備可組合性。該研究公司表示，這使企業(yè)能夠快速的創(chuàng)建靈活、智能的應用程序，幫助數(shù)據(jù)分析師將見解與行動聯(lián)系起來。
“隨著數(shù)據(jù)重心開始向云端轉移，可組合的數(shù)據(jù)和分析將成為構建由云市場、低代碼和無代碼解決方案所支持的分析應用程序的更靈活的方式，”Gartner指出。
云技術可以將公司的數(shù)據(jù)分析提升到一個新的水平。
“云實現(xiàn)了我們高計算工作負載所需的可擴展性，”創(chuàng)意服務機構Loveurope and Partners(LEAP)的系統(tǒng)和技術總監(jiān)Aidan Taub表示。
“隨著世界的數(shù)字化進程不斷發(fā)展，組織需要能夠以指數(shù)級的規(guī)模構建文件數(shù)據(jù)，”Taub說。“當你擁有大量繁重的非結構化數(shù)據(jù)時，比如我們在LEAP所處理的視頻、圖像和音頻，你永遠不會知道下一項工作可能有多大。傳統(tǒng)的分析無法像云計算那樣進行擴展。”
然而，與傳統(tǒng)的內部批量分析方法相比，在云端的分析需要不同的方法、技能、架構和經濟性。隨著所有的這些變化的出現(xiàn)，肯定會有一些障礙需要克服。
以下是組織可能面臨的一些挑戰(zhàn)，以及當他們轉向在云中執(zhí)行數(shù)據(jù)分析時可以解決這些挑戰(zhàn)的方法。
害怕失去控制和未知
數(shù)據(jù)分析對企業(yè)來說具有很高的戰(zhàn)略意義，對于習慣于完全控制此類資源的技術領導者來說，將分析流程遷移到云的想法可能是令人生畏的。
“我們看到客戶面臨的關鍵挑戰(zhàn)之一是組織慣性和對失去控制的恐懼，”德勤咨詢公司高級分析支持負責人Anthony Abbattista說，他曾與眾多IT高管合作，致力于轉向基于云的分析。
“IT和首席信息官的傳統(tǒng)角色一直是保護數(shù)據(jù)資產并成為其監(jiān)護人，”Abbattista說。對一些人來說，云計算挑戰(zhàn)了現(xiàn)狀，因為它可以更快地推向市場;例如，會有更多有限的產品選擇和評估，點擊式供應，不需要大量的增量資本支出，等等，他說。
“首席數(shù)據(jù)官和首席信息官需要共同努力來審查和適應云平臺，這樣他們就可以至少像競爭對手一樣快速地獲得業(yè)務價值和競爭優(yōu)勢了，”Abbattista說。“這可能需要采用市場上可接受的、經過驗證的新興模型，而不是從頭開始設計/構建一個分析環(huán)境。”
保險提供商世界公共機構雇員保險公司(WAEPA)的首席信息官Brandon Jones說，由于現(xiàn)有分析流程的不靈活性，許多組織在探索新的分析能力方面進展緩慢。“這導致了嘗試新能力和推動創(chuàng)新的激勵和主動性有所減少，”他說。
為了克服這一點，WAEPA的IT部門使用了一個支持云的沙盒環(huán)境來建立一個反復試驗的構思過程，使用了來自關鍵利益相關者的關鍵性能指標，并創(chuàng)建了一個原型優(yōu)先的分析環(huán)境。
做出轉變
除了要克服感知到的失控之外，IT領導者還需要處理向云的實際遷移，并確保服務不會中斷。
“這是令人生畏的。對于許多IT領導者來說，他們最難做的事情就是在云計算的道路上進行導航，”Taub說。“但如果他們選擇了正確的解決方案，情況就不必如此了。”
將數(shù)據(jù)分析遷移到云端時，很多情況下IT領導者都是從提升和遷移的方法開始，將現(xiàn)有的操作移植到云端的，Taub說。“通常，這意味著需要重新配置應用程序和系統(tǒng)以重新構建云的架構，”他補充說。
作為2019年對其傳統(tǒng)數(shù)據(jù)基礎架構進行全面改革的一部分，LEAP使用了Qumulo的分析平臺來將大量非結構化文件數(shù)據(jù)遷移到云中。LEAP的文件數(shù)據(jù)以前是分布在一系列不同的遺留存儲系統(tǒng)中的，對于數(shù)據(jù)管理員來說，需要在工作流的不同點管理和定位數(shù)據(jù)是非常耗費人力的。
“幸運的是，Qumulo幫助我們遷移了所有的數(shù)據(jù)，而不需要為云重構應用程序，”Taub說。“我建議找到一個工具來使跨多個環(huán)境的數(shù)據(jù)復制和提取變得簡單。”
這一轉變使得該公司能夠優(yōu)化其數(shù)據(jù)分析，并將性能提高了240倍。通過分析，公司可以了解連接了多少個客戶端，誰使用了最多的帶寬，以及系統(tǒng)在哪里快速增長。
“我們創(chuàng)造性工作流程的成功在很大程度上依賴于我們在云中訪問數(shù)據(jù)分析的能力，”Taub說。“我們有一個由數(shù)百名遠程工作的藝術家、設計師和運動圖形編輯組成的全球網絡，因此我們需要利用云來高效、安全地協(xié)作創(chuàng)意項目。如果沒有基于云的數(shù)據(jù)分析，我們的生產過程就將陷入停頓。”
獲得正確的技能
成功的IT努力似乎總是歸結為擁有必要的技能。將分析遷移到云端也不例外。
德勤咨詢公司看到，對技能的需求也開始發(fā)生轉變。“云分析環(huán)境需要更多的‘全棧’思維，而不是專家所支持的傳統(tǒng)分析/商業(yè)智能技術棧的每一部分，”Abbattista說。
“為了應對這一挑戰(zhàn)，支持這些新時代環(huán)境的技術團隊需要了解云平臺上的產品，采用標準模式，然后隨著新技術、工具和產品的出現(xiàn)而發(fā)展，”他補充道。
Josh Jewett表示，選擇在云環(huán)境中構建自己的分析平臺或依賴供應商系統(tǒng)的公司需要具備特定的內部技術專長。Josh Jewett最近辭去了零售商Dollar Tree首席信息官的職務。
這些技能包括了創(chuàng)建、維護和從數(shù)據(jù)湖中獲得分析的技能，以及如何最好地利用云本地或第三方人工智能和機器學習的能力，以便從環(huán)境中獲得更多的見解，Jewett說。
“這些缺點可以通過有經驗的合作伙伴和顧問來克服，”Jewett說。理想的安排是從這些外部專家那里獲得經驗，這樣一旦合同到期，公司就擁有了知識和專業(yè)技能，可以根據(jù)需要繼續(xù)發(fā)展基于云的分析，Josh Jewett說。
在Dollar Tree任職期間，Jewett幫助公司實現(xiàn)了許多系統(tǒng)的現(xiàn)代化，包括數(shù)據(jù)分析。“像許多其他零售商一樣，我的公司也采取了混合策略，”他說。我們部署了軟件即服務平臺來為關鍵業(yè)務功能提供特定的分析能力。
“這方面的例子包括了用于庫存生產率、定價優(yōu)化、損失預防和緩解、人才獲取和績效管理等方面的工具，”Jewett說。該公司還在云環(huán)境中開發(fā)了一些自己的分析應用程序，以利用云的靈活性，可擴展性和快速的市場優(yōu)勢。
保護數(shù)據(jù)
無論云服務提供商如何強調其基礎設施的安全性，許多客戶都會一直關注他們的數(shù)據(jù)在云中的安全性。
這在分析方面尤其是如此，因為從數(shù)據(jù)分析中獲得的洞察力可以成為競爭優(yōu)勢。人們還會擔心暴露客戶信息等高度敏感的數(shù)據(jù)。
“當你把公司的寶貴數(shù)據(jù)從私人數(shù)據(jù)中心轉移出去的時候，安全性是最重要的”，Taub說。“LEAP利用了包括自由職業(yè)人才在內的全球員工網絡，這意味著我們必須確保我們的數(shù)據(jù)在內部和外部用戶訪問的云中能夠得到保護。”
最大的安全問題之一是控制對云應用程序和數(shù)據(jù)的訪問。
“人們可以輕松使用云應用程序也帶來了挑戰(zhàn)，其中的許多挑戰(zhàn)源于這樣一個事實，即人們可能會在無意中造成安全、隱私和經濟方面的擔憂，”軟件提供商Precisely的首席數(shù)據(jù)和信息官Amy O'Connor表示。
“在云賬戶之間切換以及安全地存儲和交換密鑰就成為了一個安全問題，”O'Connor說。“需要圍繞數(shù)據(jù)的適當使用進行強有力的治理。這在云中比在本地更為緊迫，因為人們很容易就會復制數(shù)據(jù)并以未經授權的方式使用它。”
你需要精確地擁有混合的多云模型，利用多個云供應商來滿足其計算和存儲需求。“我們基于云的數(shù)據(jù)湖是我們存儲大量數(shù)據(jù)的地方，”O'Connor說。“如果數(shù)據(jù)來源于云，我們就從那里開始處理。如果我們有突發(fā)性的分析需求，我們就會利用云。如果我們需要快速的開始分析處理，我們就會從云開始。當我們需要處理非結構化的數(shù)據(jù)以及使用包括機器學習在內的高級分析處理時，我們就會利用我們基于云的數(shù)據(jù)湖。”
避開云計算消費陷阱
雖然使用云服務可以幫助組織避免內部存儲系統(tǒng)等成本，但費用也可能會很快失控或超出預期。
“預算始終會是一個問題，”Taub說。“一刀切的數(shù)據(jù)架構就可能是一個IT支出陷阱。在決定將分析遷移到云時，企業(yè)通常會感到壓力，因為不得不支付高昂的前期成本，并簽訂一份不符合其當前需求的長期合同。”
關鍵是找到一個不強制云鎖定的提供商。“在評估云平臺時，不要害怕去尋找一個合適的解決方案來滿足你當前的分析需求，并根據(jù)你未來的需求進行靈活擴展，”Taub說。
雖然在云中很容易上手，但也很容易將錯誤類型的工作轉移到云中，并在不再需要云應用程序和資源后讓它們繼續(xù)運行，O'Connor說。
控制云成本的兩個最有效的方法是控制云帳戶的創(chuàng)建方式，并對誰在消耗云資源完全透明，O'Connor說。
“為了解決第一個問題，我們需要將每個提供商的所有云帳戶遷移到一個‘主’帳戶中，”O'Connor說。“我們集中了誰可以創(chuàng)建新的云帳戶。需要新的云資源的個人和團體需要經過正式的申請流程。申請必須包括業(yè)務理由、部門預算信息和業(yè)務所有者。“
至于透明度，每當申請被批準時，任何新的云帳戶都是由中心團隊在主帳戶下創(chuàng)建的。“該治理政策將允許我們對云提供商向我們收取的費用提供透明度，”O'Connor說。“每個帳戶都是用申請中所提供的信息創(chuàng)建的，然后我們就可以使用云提供商的門戶或控制臺來監(jiān)控與每個初始請求所匹配的支出。”
可以精確地利用內部退款模型的支出信息，將云成本累積到請求者的預算當中。IT能夠使用這些方法“來推動云成本的問責制，并確保我們能夠出于正確的業(yè)務原因來進行適當?shù)闹С?rdquo;，O'Connor說。
