企業(yè)將大數據分析遷移到云端為用戶打開了許多大門,但前提是他們要控制成本,并了解大數據的5V。
企業(yè)越來越多地將云平臺用于大數據分析。這些平臺提供了可擴展的替代方案,與內部部署系統(tǒng)相比可以節(jié)省更多的資金,但前提是使用得當。
成本控制對于各種規(guī)模和經驗水平的企業(yè)來說都是一個問題,即使那些精通云計算的企業(yè)也是如此。這就是用戶必須了解云計算分析和大數據的規(guī)模、多樣性、速度、準確性、價值這五個V的原因。這些用戶必須學會明智地消費,以最大化投資回報率。
5V和云計算分析
將數據和分析納入云端為用戶提供了新的選項來處理分析,如果它符合大數據的五個V的話:
1.規(guī)模(Volume)
顧名思義,大數據就是巨大的數據量。云端提供了幾乎無限的存儲容量,這就是它隨著數據量不斷增長而成為吸引企業(yè)和政府機構有力選擇的一個原因。
將數據和分析轉移到云端在管理規(guī)模(Volume)方面發(fā)揮了很好的作用,因為它為用戶提供了靈活性和可擴展性,以滿足峰值需求。然而,在云存儲方面,企業(yè)仍應謹慎行事,不應丟失數據包。如果用戶在可能的情況下不使用低成本存儲層,或者在云中放置過多不必要的數據,那么成本會迅速增加。
2.多樣性(Variety)
作為數據科學術語,多樣性(Variety)指的是異構來源,例如結構化數據、半結構化數據、非結構化數據。
例如,IT部門可能需要分析來自其后臺和SaaS應用程序的半結構化數據,而會計部門則希望以報告的形式分析結構化數據。同時,營銷部門希望分析圖片、視頻、短信和其他不符合傳統(tǒng)數據庫行和列的數據。
企業(yè)可以使用基于云計算的數據湖來容納所有這些分析類型等。
3.速度(Velocity)
與云中的大數據相關,速度(Velocity)是來自SaaS應用程序、云平臺、物聯(lián)網設備、社交網絡和任何其他與業(yè)務相關的數據點的高速信息積累。當組織試圖增加足夠的處理能力來處理正在生成的大量且連續(xù)的數據流時,速度(Velocity)變得更加復雜。
隨著組織系統(tǒng)的發(fā)展,云平臺可以擴展以滿足對可操作數據的需求。
4.準確性(Veracity)
無論數據駐留在何處,組織的數據始終存在不一致和不確定性。但是,云計算可以為用戶提供更多的空間并變得凌亂,并進一步損害信息的質量和準確性。
如果沒有對內部數據準備、治理和管理流程進行審核和潛在改革,就無法實現云分析。
5. 價值(Value)
組織收集的大部分數據幾乎沒有任何價值,除非IT團隊能夠將其變?yōu)榭刹僮鞯臄祿?,并為其業(yè)務提供優(yōu)勢。
借助基于云計算的自助服務分析,企業(yè)的數據科學家可以專注于更具戰(zhàn)略性的項目,而業(yè)務用戶可以獲得儀表板、報告以及與數據本身交互所需的用戶界面。
云存儲的成本影響
當然,如果組織不控制成本,那么所有商業(yè)價值都可以很快被否定。但是,由于存儲和分析的云計算成本優(yōu)化與傳統(tǒng)的云計算成本優(yōu)化實踐不一致,因此很難獲得成功。云計算分析和消費模型可能無法預測,用戶通常缺乏他們所需資源的參考框架。此外,云計算管理工具在管理分析的能力方面仍然是一項正在進行的工作。
云計算服務提供商有攝取模型和按使用付費模式這兩種主要的定價模式可供最終用戶使用。攝取模型計算存儲在服務中的數據量。其示例包括Azure Stream Analytics、Google BigQuery。
通過Azure Data Lake Analytics、Amazon Kinesis Data Analytics等按使用付費服務,云計算服務提供商根據應用程序運行流處理所需的處理單元數按小時收費。應該注意,容量需求可能會增加,具體取決于正在運行的查詢的復雜性。
有關模型的具體詳細信息(例如,有效和長期使用的潛在定價折扣)取決于所選的云計算服務提供商。應該預期存儲與分析之間的成本與性能之間的權衡。
以Amazon S3為例,它具有大規(guī)??蓴U展性,是數據湖泊的理想選擇。但是,當用戶將數據移動到性能更高且更昂貴的存儲(例如Amazon Elastic Block Store)時,則必須忍受較慢的訪問速度。
IT團隊應審核并遵循其提供商的文檔,以估算分析工作的經濟性。然后,創(chuàng)建一個財務模型來預測使用情況并防止發(fā)生意外。
在將分析遷移到云端之前,IT團隊還應該了解他們的支出歷史和成本管理實踐。用戶了解他們的歷史數據和基線數據越多,他們就越能追蹤超支情況。
雖然自助服務分析對于組織來說是一種吸引力,但如果用戶過度放縱和限制不到位,它可能會導致更多的意外賬單。云原生和第三方工具可用于監(jiān)控工作負載的推出。
云中大數據的未來
Salesforce公司最近收購了Tableau,谷歌收購了Looker,這表明云計算領域的分析技術令人關注。SaaS供應商(如Salesforce)擁有基礎設施、基于訂閱的定價專業(yè)知識,以及營銷和銷售渠道,可將云計算分析引入新賬戶和現有賬戶。主要的云計算提供商將在內部利用他們的技術、知識產權、專業(yè)知識與其新的SaaS分析競爭對手展開競爭。
此外,前面提到的兩個主要定價模型已經成熟,可以進行變革。谷歌公司已經提供了按使用付費和固定費率之間的選擇,而像SAP公司這樣的第三方供應商提供了更傳統(tǒng)的訂閱模式。主要的公共云提供商可能會更積極地定價,除了現有的渠道合作伙伴和折扣計劃之外,他們還會提供更多的替代方案。