行業(yè)人士需要關(guān)注2021年在大數(shù)據(jù)領(lǐng)域即將出現(xiàn)的趨勢(shì)，例如增強(qiáng)分析和數(shù)據(jù)虛擬化等實(shí)踐將產(chǎn)生的影響。
大數(shù)據(jù)增長(zhǎng)的速度令人難以想象。全球數(shù)十億人每天都在產(chǎn)生難以想像的數(shù)據(jù)量，研究機(jī)構(gòu)對(duì)全球數(shù)據(jù)規(guī)模的預(yù)測(cè)無疑證明了這一點(diǎn)。問題不在于人們是否會(huì)在日常工作中使用大數(shù)據(jù)，而在于何時(shí)開始使用它(如果尚未使用的話)。大數(shù)據(jù)在可預(yù)見的未來將會(huì)繼續(xù)快速增長(zhǎng)。
在過去的十年中，數(shù)據(jù)量以驚人的速度增長(zhǎng)。隨著越來越多的組織處理大量數(shù)據(jù)并迅速采用物聯(lián)網(wǎng)技術(shù)，數(shù)據(jù)量將會(huì)繼續(xù)快速增長(zhǎng)。
為了調(diào)查市場(chǎng)需求并緊跟發(fā)展潮流，以下對(duì)一些大數(shù)據(jù)發(fā)展趨勢(shì)進(jìn)行簡(jiǎn)要概述，如果人們對(duì)大數(shù)據(jù)的技術(shù)和市場(chǎng)感興趣，則需要密切關(guān)注2021年的這些發(fā)展趨勢(shì)。
在了解大數(shù)據(jù)市場(chǎng)正在不斷發(fā)展以滿足客戶需求之后，Gartner公司對(duì)2020年的預(yù)測(cè)結(jié)果仍將在2021年出現(xiàn)。
1.增強(qiáng)分析
增強(qiáng)分析功能通過人工智能和機(jī)器學(xué)習(xí)工具及框架擴(kuò)展了商業(yè)智能(BI)工具包。這是從傳統(tǒng)的商業(yè)智能(BI)中產(chǎn)生的，自助式商業(yè)智能(BI)為業(yè)務(wù)用戶提供基于視覺的分析。增強(qiáng)分析是自助式商業(yè)智能(BI)的下一個(gè)步驟。它將機(jī)器學(xué)習(xí)和人工智能元素集成到組織的數(shù)據(jù)準(zhǔn)備、分析和商業(yè)智能(BI)流程中，以提高數(shù)據(jù)管理性能。
增強(qiáng)分析可以減少與數(shù)據(jù)準(zhǔn)備和清理有關(guān)的時(shí)間，并且無需數(shù)據(jù)科學(xué)家的幫助就可以為商業(yè)人士提供見解。
2.持續(xù)智能
持續(xù)智能是將實(shí)時(shí)分析集成到當(dāng)前業(yè)務(wù)運(yùn)營中的過程。
根據(jù)Gartner公司的預(yù)測(cè)，到2022年，超過一半的主要業(yè)務(wù)系統(tǒng)將基于實(shí)時(shí)分析做出業(yè)務(wù)決策。通過將實(shí)時(shí)分析集成到業(yè)務(wù)運(yùn)營中，并處理當(dāng)前和歷史數(shù)據(jù)，持續(xù)智能有助于在新數(shù)據(jù)到達(dá)時(shí)增強(qiáng)人為決策。
許多組織仍然只依靠歷史數(shù)據(jù)或過時(shí)的數(shù)據(jù)。這樣的組織可能會(huì)在快速變化的環(huán)境中落后。因此，組織應(yīng)該不斷且即時(shí)地了解其數(shù)據(jù)。這些數(shù)據(jù)將提高問題的識(shí)別和解決以及做出重要決策的速度。
3.數(shù)據(jù)操作
DataOps在發(fā)展方向上類似于DevOps的實(shí)踐，但針對(duì)不同的流程。
與DevOps不同，它通過跨組織的協(xié)作實(shí)踐來實(shí)現(xiàn)數(shù)據(jù)集成和數(shù)據(jù)質(zhì)量。DataOps專注于減少數(shù)據(jù)的端到端循環(huán)，從數(shù)據(jù)攝取、準(zhǔn)備和分析開始，到創(chuàng)建圖表、報(bào)告和見解結(jié)束。
DataOps為不熟悉數(shù)據(jù)流的員工處理數(shù)據(jù)提供幫助。這使得他們可以更多地關(guān)注領(lǐng)域?qū)I(yè)知識(shí)，而不是關(guān)注數(shù)據(jù)如何在組織中運(yùn)行。
3.1無服務(wù)器的興起
隨著云計(jì)算解決方案在市場(chǎng)上的廣泛應(yīng)用，新的趨勢(shì)和實(shí)踐不斷出現(xiàn)。DataOps實(shí)踐旨在簡(jiǎn)化和加速數(shù)據(jù)流。這就是為什么DataOps工具包包含所謂的“無服務(wù)器”實(shí)踐的原因。這種實(shí)施允許組織通過在基于云計(jì)算的基礎(chǔ)設(shè)施中管理數(shù)據(jù)管道來減少硬件數(shù)量，輕松快速地進(jìn)行擴(kuò)展，并加快數(shù)據(jù)流更改。
3.2更進(jìn)一步：DataOps即服務(wù)
實(shí)現(xiàn)數(shù)據(jù)的集成、可靠性和交付需要大量的精力和技能。數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和DevOps工程師需要耗費(fèi)時(shí)間來實(shí)施所有DataOps實(shí)踐。市場(chǎng)上不斷推出新產(chǎn)品，而這些產(chǎn)品能夠利用組織的數(shù)據(jù)實(shí)施這些實(shí)踐。
這些產(chǎn)品提供了多種可組合和可擴(kuò)展的DataOps實(shí)踐，允許基于組織的數(shù)據(jù)開發(fā)復(fù)雜的數(shù)據(jù)流，還為組織的數(shù)據(jù)科學(xué)部門提供了API。
4.內(nèi)存中的計(jì)算
內(nèi)存中計(jì)算是加快分析速度的另一種方法。
除了實(shí)時(shí)數(shù)據(jù)處理外，它還消除了緩慢的數(shù)據(jù)訪問，并將所有處理流完全基于存儲(chǔ)在內(nèi)存中的數(shù)據(jù)。這使得數(shù)據(jù)的處理和查詢速度比任何其他解決方案要快100倍以上，這有助于組織制定決策并立即采取行動(dòng)。
5.邊緣計(jì)算
邊緣計(jì)算是一種分布式計(jì)算框架，可以在數(shù)據(jù)源附近進(jìn)行計(jì)算。
隨著傳輸?shù)皆朴?jì)算分析解決方案的數(shù)據(jù)量的增加，原始數(shù)據(jù)的延遲和可擴(kuò)展性以及處理速度等問題也隨之出現(xiàn)。邊緣計(jì)算方法允許減少數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)處理層之間的延遲，并通過將數(shù)據(jù)處理管道的部分移近原點(diǎn)(傳感器、物聯(lián)網(wǎng)設(shè)備)來減少對(duì)云平臺(tái)的壓力。
Gartner公司估計(jì)，到2025年，將有75%的數(shù)據(jù)將在傳統(tǒng)數(shù)據(jù)中心或云平臺(tái)之外進(jìn)行處理。
6.數(shù)據(jù)治理
數(shù)據(jù)治理是確保組織內(nèi)信息有效使用的實(shí)踐和流程的集合。
安全數(shù)據(jù)泄露法規(guī)和GDPR法規(guī)的引入迫使組織更加關(guān)注數(shù)據(jù)。像首席數(shù)據(jù)官(CDO)和首席保護(hù)官(CPO)這樣的新角色已經(jīng)開始出現(xiàn)，他們負(fù)責(zé)根據(jù)法規(guī)和安全策略管理數(shù)據(jù)。數(shù)據(jù)治理不僅涉及安全和法規(guī)，還涉及組織使用的數(shù)據(jù)的可用性、有效性和完整性。
數(shù)據(jù)量的快速增長(zhǎng)以及法規(guī)和合規(guī)性要求的不斷提高是全球數(shù)據(jù)治理市場(chǎng)大規(guī)模增長(zhǎng)的原因。
7.數(shù)據(jù)虛擬化
數(shù)據(jù)虛擬化集成了不同系統(tǒng)的所有組織數(shù)據(jù)，管理統(tǒng)一的數(shù)據(jù)以實(shí)現(xiàn)集中的安全和治理，并將其實(shí)時(shí)提供給業(yè)務(wù)用戶。
當(dāng)使用不同的數(shù)據(jù)源時(shí)，例如來自數(shù)據(jù)倉庫、云存儲(chǔ)或安全SQL數(shù)據(jù)庫的數(shù)據(jù)，就需要組合或分析來自這些不同數(shù)據(jù)源的數(shù)據(jù)，以便基于分析做出見解或業(yè)務(wù)決策。這與ETL方法不同，ETL方法主要從其他源復(fù)制數(shù)據(jù)。數(shù)據(jù)虛擬化直接尋址數(shù)據(jù)源并對(duì)其進(jìn)行分析，而無需在數(shù)據(jù)倉庫中復(fù)制數(shù)據(jù)源。這節(jié)省了數(shù)據(jù)處理存儲(chǔ)空間和時(shí)間。
8.Spark將超越Hadoop
市場(chǎng)需求總是不斷變化，工具也是如此。在現(xiàn)代數(shù)據(jù)處理中，越來越多的工程趨勢(shì)受到大數(shù)據(jù)基礎(chǔ)設(shè)施的影響。值得關(guān)注的軟件趨勢(shì)之一是向云平臺(tái)遷移。因此，人們看到數(shù)據(jù)處理從內(nèi)部部署數(shù)據(jù)中心轉(zhuǎn)移到提供數(shù)據(jù)接收、分析和存儲(chǔ)等服務(wù)的云平臺(tái)。
有了這樣的轉(zhuǎn)變，并不是所有的工具都能跟上市場(chǎng)發(fā)展步伐。例如，大多數(shù)Hadoop提供商仍然只支持?jǐn)?shù)據(jù)中心基礎(chǔ)設(shè)施，而Spark這樣的框架在數(shù)據(jù)中心和云平臺(tái)中都感覺非常舒適。Spark正在不斷發(fā)展和快速進(jìn)步，以滿足市場(chǎng)需求，為組織提供了采用混合云或多云的更多選擇。
結(jié)論
根據(jù)市場(chǎng)預(yù)測(cè)，大數(shù)據(jù)將繼續(xù)增長(zhǎng)。到2025年，全球大數(shù)據(jù)市場(chǎng)的規(guī)模將達(dá)到驚人的2500億美元。
近年來的一些發(fā)展趨勢(shì)(例如增強(qiáng)分析、內(nèi)存中計(jì)算、數(shù)據(jù)虛擬化和大數(shù)據(jù)處理框架)仍然具有現(xiàn)實(shí)意義，并將對(duì)組織的業(yè)務(wù)發(fā)展產(chǎn)生重大影響。例如，內(nèi)存中計(jì)算的速度是其他任何解決方案速度的100多倍。這有助于組織立即做出決策和采取行動(dòng)。至于有助于節(jié)省數(shù)據(jù)處理存儲(chǔ)空間和時(shí)間的數(shù)據(jù)虛擬化，到2022年，將近三分之二的組織將采用這種方法。
新的趨勢(shì)也在出現(xiàn)。像持續(xù)智能、邊緣計(jì)算和數(shù)據(jù)操作這樣的強(qiáng)大工具可以幫助改進(jìn)業(yè)務(wù)并使事情更快地發(fā)生。例如，持續(xù)智能同時(shí)考慮了歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)。這會(huì)顯著影響組織的決策方式以及決策的效率和速度。到2022年，50%以上的主要業(yè)務(wù)系統(tǒng)將基于實(shí)時(shí)分析環(huán)境做出業(yè)務(wù)決策。邊緣計(jì)算等方法允許在傳統(tǒng)數(shù)據(jù)中心或云平臺(tái)之外處理數(shù)據(jù)。據(jù)估計(jì)，到2025年，組織75%的生成數(shù)據(jù)將在邊緣進(jìn)行處理。DataOps工具包中的無服務(wù)器實(shí)踐已經(jīng)使組織減少硬件數(shù)量，并方便快捷地進(jìn)行擴(kuò)展。將近50%的組織已經(jīng)或計(jì)劃在不久的將來使用無服務(wù)器架構(gòu)。
