新技術(shù)的交織驅(qū)動(dòng)下，新數(shù)據(jù)元年已經(jīng)到來(lái)，新時(shí)代下的數(shù)據(jù)存儲(chǔ)和使用有什么特點(diǎn)？分布式存儲(chǔ)為何能助力企業(yè)從容應(yīng)對(duì)新數(shù)據(jù)挑戰(zhàn)，引領(lǐng)未來(lái)？
2019年，大數(shù)據(jù)、云計(jì)算、人工智能、物聯(lián)網(wǎng)、5G……各種新技術(shù)名詞不再停留在紙面，正在以前所未有的速度撲面而來(lái)。在IDC與浪潮聯(lián)合發(fā)布的《2019年數(shù)據(jù)及存儲(chǔ)發(fā)展研究報(bào)告》中，用了“新數(shù)據(jù)時(shí)代元年”來(lái)形容2019年，說(shuō)明各種新技術(shù)交織的威力，也說(shuō)明數(shù)據(jù)正在發(fā)生前所未有的化學(xué)反應(yīng)。而元年的重要標(biāo)志之一，是中國(guó)數(shù)字化轉(zhuǎn)型IT支出在2019年，將首次超過(guò)非數(shù)字化轉(zhuǎn)型IT支出，占比達(dá)到51%。
新數(shù)據(jù)時(shí)代，分布式存儲(chǔ)成為趨勢(shì)
新時(shí)代下數(shù)據(jù)的形態(tài)將會(huì)發(fā)生諸多改變，而相應(yīng)的數(shù)據(jù)存儲(chǔ)，則要需要新的基礎(chǔ)設(shè)施來(lái)應(yīng)對(duì)挑戰(zhàn)。
數(shù)據(jù)存儲(chǔ)不止于大，更應(yīng)實(shí)時(shí)快速流動(dòng)和易于管理
在醫(yī)院中，患者拿著龐大的片子穿梭在各大科室的情景還歷歷在目，這是數(shù)據(jù)無(wú)法實(shí)時(shí)流動(dòng)的典型。新時(shí)代的檢測(cè)雖然數(shù)據(jù)量大幅攀升，但在云端存儲(chǔ)的支撐下，即使醫(yī)院再繁忙，醫(yī)生也可以即時(shí)調(diào)取查看。如果數(shù)據(jù)只是簡(jiǎn)單存儲(chǔ)，不能實(shí)時(shí)調(diào)取、快速流動(dòng)和便于管理，就如還需要患者拿著片子跑那樣，無(wú)法適應(yīng)新時(shí)代的業(yè)務(wù)需求。
在各種新技術(shù)的交織下，數(shù)據(jù)會(huì)持續(xù)大爆炸已是共識(shí)，醫(yī)院的3D PACS系統(tǒng)（三維醫(yī)療影像）會(huì)產(chǎn)生海量的小文件并發(fā)存儲(chǔ)訪問(wèn)只是其中一個(gè)小例子。新時(shí)代下，由AI驅(qū)動(dòng)的應(yīng)用數(shù)量將會(huì)激增到百萬(wàn)級(jí)的規(guī)模，和其它新技術(shù)交織在一起，海量、多元、非結(jié)構(gòu)化將是新時(shí)代下數(shù)據(jù)的新常態(tài)。
全球四大類(lèi)型數(shù)據(jù)趨勢(shì)概覽，2018-2023年
據(jù)IDC預(yù)測(cè)，到2023年，企業(yè)產(chǎn)生的數(shù)據(jù)量將超過(guò)消費(fèi)者所產(chǎn)生的體量，占整個(gè)數(shù)據(jù)圈的59.4%。企業(yè)數(shù)據(jù)的海量產(chǎn)生，說(shuō)明業(yè)務(wù)的種類(lèi)和形態(tài)正在發(fā)生巨變，如何從容應(yīng)對(duì)海量數(shù)據(jù)、數(shù)據(jù)實(shí)時(shí)性和可靠性、數(shù)據(jù)整合及管理，從海量數(shù)據(jù)中挖掘價(jià)值，就成為最重要的課題。
海量數(shù)據(jù)的挑戰(zhàn)十分嚴(yán)峻，據(jù)IDC數(shù)據(jù)，2025年全球新創(chuàng)建的數(shù)據(jù)將達(dá)到175ZB，而目前存儲(chǔ)下來(lái)的數(shù)據(jù)只有1%左右。預(yù)計(jì)2018-2023年，全球存儲(chǔ)裝機(jī)容量將以18.4%的年復(fù)合增長(zhǎng)率增長(zhǎng)，其中企業(yè)級(jí)存儲(chǔ)裝機(jī)容量將達(dá)到25.1%的年復(fù)合增長(zhǎng)率。
全球?qū)崟r(shí)數(shù)據(jù)趨勢(shì)預(yù)覽，2018-2023年
數(shù)據(jù)的可靠性和實(shí)時(shí)性則是IT基礎(chǔ)實(shí)施建設(shè)的巨大挑戰(zhàn)，物聯(lián)網(wǎng)以及人工智能和滲透，如金融的風(fēng)險(xiǎn)評(píng)估、交通的自動(dòng)駕駛等，都需要可靠數(shù)據(jù)低延遲實(shí)時(shí)流動(dòng)。IDC預(yù)測(cè)，到2023年，實(shí)時(shí)數(shù)據(jù)將占全球數(shù)據(jù)圈24.5%的份額，海量、多元和非結(jié)構(gòu)化成數(shù)據(jù)常態(tài)。
數(shù)據(jù)整合及管理的挑戰(zhàn)也十分巨大。數(shù)據(jù)的快速流動(dòng)需求源自于云、邊、端的實(shí)時(shí)協(xié)同，雖然數(shù)據(jù)的產(chǎn)生更多來(lái)自端側(cè)和邊緣，但最重要的數(shù)據(jù)存儲(chǔ)位置依然在核心，而邊緣產(chǎn)生的數(shù)據(jù)量具有較高的增速，未來(lái)五年復(fù)合增長(zhǎng)率預(yù)計(jì)達(dá)到33.2%。
為了直面這三大挑戰(zhàn)，企業(yè)的IT基礎(chǔ)設(shè)施將從云+端的兩級(jí)架構(gòu)向云-邊-端三級(jí)架構(gòu)演進(jìn)迭代，存儲(chǔ)系統(tǒng)則形成了隨需應(yīng)變、軟件定義、智能化和多云部署的大趨勢(shì)。在新時(shí)代的需求下，存儲(chǔ)系統(tǒng)架構(gòu)上的變革不可避免，而高效、易于擴(kuò)展的分布式平臺(tái)，則有望引領(lǐng)趨勢(shì)。
數(shù)據(jù)存儲(chǔ)新基座 分布式存儲(chǔ)引領(lǐng)未來(lái)
報(bào)告用閃存是數(shù)十年來(lái)存儲(chǔ)介質(zhì)最重大的突破，來(lái)類(lèi)比分布式平臺(tái)是系統(tǒng)架構(gòu)上的重要變革。IDC也預(yù)測(cè)，到2023年，40%左右的存儲(chǔ)系統(tǒng)都將是分布式存儲(chǔ)架構(gòu)。
浪潮分布式存儲(chǔ)
為什么傳統(tǒng)集中式存儲(chǔ)無(wú)法適應(yīng)新時(shí)代的需求？舉個(gè)智慧交通的例子——成都市不到10條道路的范圍內(nèi)就有超過(guò)6,000路視頻流業(yè)務(wù)，每天90TB的視頻數(shù)據(jù)和上億的張卡口圖片，8小時(shí)內(nèi)要完成1億張圖片近10億次的操作，并能秒級(jí)呈現(xiàn)。這種情況下，傳統(tǒng)存儲(chǔ)的擴(kuò)展性和數(shù)據(jù)處理能力遠(yuǎn)遠(yuǎn)達(dá)不到要求，浪潮分布式存儲(chǔ)以小文件聚合、存儲(chǔ)自動(dòng)分層等功能提供了100多個(gè)節(jié)點(diǎn)共20PB容量，才實(shí)現(xiàn)了每天億級(jí)文件數(shù)據(jù)的并行讀寫(xiě)、低延時(shí)的要求。
從這個(gè)案例中，可以看出分布式存儲(chǔ)的特點(diǎn)——可擴(kuò)展的架構(gòu)并將數(shù)據(jù)負(fù)載分散在多臺(tái)存儲(chǔ)系統(tǒng)，既提高了存儲(chǔ)效率和數(shù)據(jù)的安全性，又能在性能和容量的橫向擴(kuò)展上隨需應(yīng)變，解決大規(guī)模、高并發(fā)場(chǎng)景下的存儲(chǔ)訪問(wèn)問(wèn)題。這種靈活又安全的特性，非常利于面對(duì)新時(shí)代多變的應(yīng)用環(huán)境。
同時(shí)，隨著業(yè)務(wù)的不斷發(fā)展，企業(yè)通常都需要面對(duì)多云環(huán)境，而多云環(huán)境下的數(shù)據(jù)治理一直都是痛點(diǎn)。采用標(biāo)準(zhǔn)化的存儲(chǔ)容器接口，支持云、核心或邊緣部署，是多云環(huán)境存儲(chǔ)的趨勢(shì)。浪潮分布式存儲(chǔ)可以在一套系統(tǒng)內(nèi)提供文件、塊、對(duì)象、大數(shù)據(jù)等多種存儲(chǔ)服務(wù)，支持多種接口對(duì)接，實(shí)現(xiàn)了軟件定義存儲(chǔ)、智能化管理和多云間數(shù)據(jù)快速流動(dòng)。
傳統(tǒng)存儲(chǔ)系統(tǒng)會(huì)存在高額的人工運(yùn)維成本，如果不有效應(yīng)對(duì)，在業(yè)務(wù)數(shù)據(jù)量和復(fù)雜度大幅增加后，這個(gè)成本將成為企業(yè)沉重的負(fù)擔(dān)。而分布式存儲(chǔ)可以充分利用人工智能技術(shù)，實(shí)現(xiàn)從被動(dòng)的故障維護(hù)轉(zhuǎn)變?yōu)橹鲃?dòng)重建和維護(hù)，不但可以提升管理效率降低運(yùn)維成本，甚至可以對(duì)性能需求和容量瓶頸進(jìn)行預(yù)測(cè)，從容應(yīng)對(duì)未來(lái)。
新數(shù)據(jù)時(shí)代四大特征
在以5G、人工智能、物聯(lián)網(wǎng)為首的新技術(shù)驅(qū)動(dòng)的新時(shí)代，萬(wàn)物智連的數(shù)據(jù)形態(tài)本身就是高度分布式的存在。而隨著技術(shù)應(yīng)用落地的進(jìn)一步發(fā)展，其產(chǎn)生的化學(xué)反應(yīng)會(huì)加劇，新數(shù)據(jù)形態(tài)、新應(yīng)用模式和新價(jià)值需求會(huì)進(jìn)化得越來(lái)越快，企業(yè)也將更依賴(lài)數(shù)據(jù)采集、數(shù)據(jù)分析來(lái)提升生產(chǎn)力、開(kāi)展業(yè)務(wù)。所以，更能適應(yīng)大數(shù)據(jù)分析、視覺(jué)計(jì)算、多云等場(chǎng)景的分布式存儲(chǔ)，其取代傳統(tǒng)存儲(chǔ)方式是大勢(shì)所趨。
在報(bào)告中，IDC對(duì)企業(yè)應(yīng)對(duì)新數(shù)據(jù)時(shí)代帶來(lái)的挑戰(zhàn)提出了三點(diǎn)建議——
多元部署：數(shù)據(jù)的產(chǎn)生和存儲(chǔ)，都向云-邊-端多元部署，企業(yè)應(yīng)及時(shí)引入新的存儲(chǔ)解決方案。
多云就緒：多云環(huán)境是未來(lái)的必然趨勢(shì)，企業(yè)應(yīng)選擇高效的多云環(huán)境
關(guān)注新技術(shù)：傳統(tǒng)的存儲(chǔ)正在達(dá)到物理極限，并帶來(lái)成本的挑戰(zhàn)，企業(yè)應(yīng)持續(xù)關(guān)注新技術(shù)，比如分布式存儲(chǔ)、閃存技術(shù)、人工智能運(yùn)維等，解決彈性、效率、性能和成本等問(wèn)題。
這三大建議，都需要分布式存儲(chǔ)才能更好地實(shí)現(xiàn)。新時(shí)代下存儲(chǔ)解決方案的選擇，其重要性可見(jiàn)一斑，而具備多項(xiàng)優(yōu)勢(shì)的分布式存儲(chǔ)，則是企業(yè)邁向新時(shí)代的必由之路。
