企業(yè)數(shù)字化轉(zhuǎn)型進程不斷加速,物理世界與虛擬世界正在融合。當兩個世界不斷以數(shù)據(jù)的形式互相映射和影響的時候,時代將從量變積累到質(zhì)變。新數(shù)據(jù)時代元年已經(jīng)到來。
10月18日,在IDC中國數(shù)字化轉(zhuǎn)型年度盛典上,IDC與浪潮聯(lián)合發(fā)布了《2019年數(shù)據(jù)及存儲發(fā)展研究報告》。在深度探討中國數(shù)字化轉(zhuǎn)型現(xiàn)狀的基礎上,報告提出,2019年中國邁入新數(shù)據(jù)時代元年。
報告顯示,在2019年中國數(shù)字化轉(zhuǎn)型IT支出首次超過非數(shù)字化轉(zhuǎn)型IT支出,占比達到51%。隨著數(shù)字化轉(zhuǎn)型的不斷加速,行業(yè)新應用爆發(fā)式增長,從數(shù)千、數(shù)萬躍升到百萬量級,數(shù)據(jù)呈現(xiàn)出海量、多元、實時、多云等趨勢。數(shù)據(jù)存儲成為承載產(chǎn)業(yè)轉(zhuǎn)型的基礎平臺,分布式存儲成為趨勢,2023年其占比將達到40%,閃存陣列將迎來高速發(fā)展。
新數(shù)據(jù)時代元年,海量、多元、實時、多云的新數(shù)據(jù)特征
通過對金融、交通、電信、能源、醫(yī)療等行業(yè)的研究,報告指出新數(shù)據(jù)時代下表現(xiàn)出的新數(shù)據(jù)特征:數(shù)據(jù)海量增長,到2025年全球新創(chuàng)建的數(shù)據(jù)將達到175ZB;企業(yè)對實時數(shù)據(jù)需求增加,到2023年實時數(shù)據(jù)占全球數(shù)據(jù)圈24.5%的份額;未來全球?qū)⒂谐^70%的企業(yè)選擇多云部署模式,到2023年42.4%的企業(yè)將采用邊緣+核心的組合架構(gòu),核心數(shù)據(jù)中心的數(shù)據(jù)存儲容量占比將超過50%。
首先,海量、多元和非結(jié)構(gòu)化成新數(shù)據(jù)時代常態(tài)。報告顯示,2019年,全球存儲新裝機容量從EB級達到ZB級,2025年全球新創(chuàng)建的數(shù)據(jù)將達到175ZB。數(shù)據(jù)環(huán)境多樣、復雜,數(shù)據(jù)從單一內(nèi)部小數(shù)據(jù)形態(tài)向多元動態(tài)大數(shù)據(jù)發(fā)展,大量文本、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)被產(chǎn)生和存儲。例如,在智慧城市場景中,中國的道路端口保有量已經(jīng)達到億級,加之交通系統(tǒng)往往會存儲相當長時期內(nèi)的歷史數(shù)據(jù)用于查證和回溯,由此產(chǎn)生的海量新數(shù)據(jù)給存儲系統(tǒng)帶來壓力。
其次,數(shù)據(jù)的實時性需求變得更迫切。隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及人工智能等技術(shù)在各行業(yè)的不斷滲透,企業(yè)對于數(shù)據(jù)實時性的需求日益增加。報告顯示,到2023年,實時數(shù)據(jù)將占全球數(shù)據(jù)圈24.5%的份額。金融的風險評估、交通的自動駕駛、運營商的智能網(wǎng)絡等許多場景,都需要依賴快速實時的數(shù)據(jù)采集、存儲和分析得以實現(xiàn)。
再次,基礎架構(gòu)向云-邊-端演進,重要的數(shù)據(jù)存儲位置依然在核心。未來兩年,全球?qū)⒂谐^70%的企業(yè)選擇多云部署模式。2023年,將有42.4%的企業(yè)采用邊緣+核心的組合架構(gòu)建立和運行數(shù)據(jù)庫,設備架構(gòu)從云+端的兩級架構(gòu)向云-邊-端三級架構(gòu)演進迭代。雖然數(shù)據(jù)的產(chǎn)生更多來自端側(cè)和邊緣,但重要的數(shù)據(jù)存儲位置依然在核心,到2023年核心數(shù)據(jù)中心的數(shù)據(jù)存儲容量占比將超過50%。由于現(xiàn)代數(shù)據(jù)中心的復雜性,數(shù)百個應用程序在數(shù)百臺服務器上運行,同時還要運行數(shù)十種監(jiān)測和管理工具,管理一直是云部署和云管理的重中之重。
新存儲:分布式存儲是新趨勢,閃存陣列是企業(yè)存儲加速首選
新數(shù)據(jù)時代數(shù)據(jù)呈現(xiàn)出海量、多元、實時、多云的特征。對于數(shù)字化轉(zhuǎn)型中的企業(yè)來說,在數(shù)據(jù)存儲的極致容量、極速性能、極簡架構(gòu)、極易管理等方面提出要求。報告建議投資閃存陣列以提升存儲性能,以滿足實時數(shù)據(jù)處理對百萬級IOPS、亞毫秒級時延的需求;利用分布式存儲架構(gòu)在性能和容量擴展方面的優(yōu)勢,解決大規(guī)模、高并發(fā)場景下對存儲的挑戰(zhàn)。
閃存陣列憑借其性能和穩(wěn)定性,成為企業(yè)存儲加速的首選方案。目前,閃存陣列已經(jīng)逐漸普及,新端口的固態(tài)硬盤、NVMe網(wǎng)絡架構(gòu),使存儲系統(tǒng)的性能有了大幅提升。未來,隨著新技術(shù)帶來的存儲效率大幅提升,將有越來越多的企業(yè)選擇閃存陣列來滿足數(shù)據(jù)實時性應用需求。以山東高速ETC繳費系統(tǒng)為例,在其數(shù)千公里的高速公路上分布著多個路段信息分中心、收費站、收費車道、ETC客服網(wǎng)點,基于浪潮全閃存儲系統(tǒng)實現(xiàn)0.1毫秒通行ETC,日均清分業(yè)務處理量達到百萬筆。
高效、易于擴展的分布式平臺引領存儲架構(gòu)新趨勢。分布式存儲系統(tǒng)采用可擴展的架構(gòu),不僅能提高存儲的效率和數(shù)據(jù)的安全性,還可以進行性能和容量的橫向擴展,解決大規(guī)模、高并發(fā)場景下的存儲訪問問題。隨著5G、物聯(lián)網(wǎng)和人工智能的快速發(fā)展,企業(yè)對于分布式系統(tǒng)的需求將持續(xù)增加,分布式存儲成為多云環(huán)境的首選平臺。到2023年,40%的存儲系統(tǒng)將是分布式存儲架構(gòu)。以成都三環(huán)路為例,浪潮分布式存儲支撐了其超過6000路道路端口的視頻流,每天1億文件寫入和10億次查詢,智能交通管理效率提升500%。
多云環(huán)境下,提升存儲的可用性和管理能力。面對數(shù)據(jù)爆炸,存儲必須隨需應變,軟件定義、智能化、多云間數(shù)據(jù)流動是存儲未來的主流發(fā)展方向。比如浪潮以創(chuàng)新架構(gòu)構(gòu)建分布式存儲,在一套系統(tǒng)內(nèi)提供文件、塊、對象、大數(shù)據(jù)等多種存儲服務,支持Manila、Cinder、Nova、Swift接口對接,并通過智能運維軟件管理多種設備,簡化多云設備管理。在中國廣電國網(wǎng)云平臺中,浪潮存儲平臺打通底層分布式存儲、虛擬化、OpenStack、云管平臺,外部實現(xiàn)與網(wǎng)絡SDN、云安全等平臺對接,實現(xiàn)廣電國網(wǎng)的三地互聯(lián)互通和大規(guī)模業(yè)務支撐目標。
告別人工干預,存儲將進入智慧運維時代。人工智能技術(shù)無處不在,將快速融入存儲系統(tǒng)的發(fā)展,并在存儲容量、性能、硬盤故障預測方面起到關鍵作用。在清華大學“中國腦計劃”項目中,浪潮基于智能統(tǒng)一存儲管理平臺InView,對存儲系統(tǒng)進行集中管理、智能監(jiān)測和故障預測報警,保障每秒51億像素、72小時連續(xù)寫入不丟幀的腦科研項目順利進行。
報告還針對新數(shù)據(jù)時代的存儲未來發(fā)展提出了具體建議,基于云-邊-端多元部署的趨勢發(fā)展,企業(yè)需要制定從端到邊再到核心的完整數(shù)據(jù)管理解決方案。針對多云環(huán)境的必然趨勢,企業(yè)必須提升多云環(huán)境下的數(shù)據(jù)管理能力,同時持續(xù)關注NVMe、內(nèi)存SCM等技術(shù)更新及AI技術(shù)應用。