簡(jiǎn)而言之，存儲(chǔ)如何以更高效、更低成本的方式，圍繞著數(shù)據(jù)的產(chǎn)生、存放、保護(hù)、優(yōu)化、利用，直至數(shù)據(jù)成為資產(chǎn)，滿足數(shù)據(jù)對(duì)存儲(chǔ)提出的要求。
相關(guān)的關(guān)鍵詞有十個(gè)：分布式存儲(chǔ)、云存儲(chǔ)、容器存儲(chǔ)、全閃存、AI存儲(chǔ)、區(qū)塊鏈存儲(chǔ)、邊緣存儲(chǔ)、量子存儲(chǔ)、生物存儲(chǔ)或基因存儲(chǔ)等等。
鑒往事
我們先回顧一下歷史，過(guò)去十年（2010-2019）存儲(chǔ)發(fā)生了什么事件？
2010年：EMC收購(gòu)Isilon，22.5億美元 ;
2010年：惠普收購(gòu)3Par，23.5億美元 ;
2011年：戴爾收購(gòu)Compellent，9.6億美元 ;
2011年：希捷收購(gòu)三星硬盤，13.75億美元 ;
2011年：西部數(shù)據(jù)收購(gòu)日立GST，48億美元 ;
2012年：VMware提出SDDC（軟件定義數(shù)據(jù)中心）和SDS（軟件定義存儲(chǔ)）的概念，之后推出SDS產(chǎn)品 – Virtual SAN的預(yù)覽版 ;
2013年：Avago收購(gòu)LSI，66億美元 ;
2014年：閃迪收購(gòu)Fusion-io，11億美元 ;
2015年：戴爾收購(gòu)EMC，630億美元 ;
2015年：西部數(shù)據(jù)收購(gòu)閃迪，160億美元 ;
2016年：IBM收購(gòu)對(duì)象存儲(chǔ)，約13億美元 ;
2016年：HCI（超融合）概念提出者Nutanix上市；
2016年：博通收購(gòu)博科，59億美元 ;
2016年：OpenText收購(gòu)Dell EMC企業(yè)內(nèi)容部門(包括Documentum等)，16.2億美元 ;
2017年：HPE收購(gòu)Nimble Storage，10.9億美元 ;
2018年：微軟收購(gòu)混合云數(shù)據(jù)存儲(chǔ)公司Avere Systems ;
2019年: AWS收購(gòu)E8 Storage，估計(jì)在5000萬(wàn)美元至6000萬(wàn)美元之間 ;
2019年: 谷歌收購(gòu)存儲(chǔ)企業(yè)Elastifile, 2億美元 ;
2019年: IBM收購(gòu) RedHat, 340億美元，RedHat有兩款開(kāi)源存儲(chǔ)產(chǎn)品：Ceph和Gluster。
站在企業(yè)存儲(chǔ)系統(tǒng)的角度，有幾件事值得注意：HCI、SDDC、SDS的相聚出現(xiàn)、戴爾收購(gòu)EMC、西部數(shù)據(jù)收購(gòu)閃迪、HPE收購(gòu)3Par和Nimble Storage，以及云計(jì)算廠商微軟、AWS和谷歌的收購(gòu)。這些事件體現(xiàn)了全球存儲(chǔ)發(fā)展的幾大趨勢(shì)：分布式、云化、閃存化、智能等。
1、分布式存儲(chǔ)
軟件定義存儲(chǔ)，為云而生。軟件定義存儲(chǔ)就是將硬件的可操控成分按需求，分階段的，通過(guò)編程接口或者以服務(wù)的方式逐步暴露給前端應(yīng)用，分階段地滿足應(yīng)用對(duì)資源的不同程度、不同方面的靈活調(diào)用。軟件定義存儲(chǔ)其實(shí)是一個(gè)過(guò)程，不是一蹴而就的目標(biāo)，它分成不同階段：抽象、池化和自動(dòng)化。目前，軟件定義存儲(chǔ)最顯著的特征是呈現(xiàn)分布式，根據(jù)近年來(lái)IDC的報(bào)告，軟件定義存儲(chǔ)按照訪問(wèn)方式，分為三類：分布式塊存儲(chǔ)、分布式文件存儲(chǔ)、分布式對(duì)象存儲(chǔ)。未來(lái)十年，分布式存儲(chǔ)的相對(duì)市場(chǎng)份額將不斷增長(zhǎng)，預(yù)計(jì)將超過(guò)集中存儲(chǔ)的市場(chǎng)份額，然而兩者將長(zhǎng)期并存。
戴爾收購(gòu)的Compellent、HP收購(gòu)的3Par，實(shí)現(xiàn)了塊級(jí)虛擬化，將硬盤和RAID解耦；VMware Virtual SAN（現(xiàn)命名為vSAN）、Nutanix有別于以往的專用存儲(chǔ)，將文件系統(tǒng)軟件與服務(wù)器解耦，體現(xiàn)了分布式存儲(chǔ)征程中的不同階段
回顧一下Gartner 在2015年7月發(fā)布的技術(shù)成熟度曲線，彼時(shí)處于曲線的最高點(diǎn)，也即階段二（過(guò)高期望的峰值，Peak of Inflated Expectations）。四、五年左右的時(shí)間，才被市場(chǎng)廣泛認(rèn)可，但迄今離占據(jù)市場(chǎng)主流份額還需一段時(shí)間。好消息是，分布式存儲(chǔ)發(fā)展非常迅猛，遠(yuǎn)超平均值。
2、云化 （含容器、超融合、混合云）
據(jù)報(bào)道，全球云存儲(chǔ)市場(chǎng)2017年為307億美元，預(yù)計(jì)到2022年889.1億美元，CAGR為23.7%；中國(guó)云存儲(chǔ)市場(chǎng)2017年規(guī)模為88.68億人民幣，同比增長(zhǎng)71.8%，2018年同比增長(zhǎng)率將上升至72.8%，市場(chǎng)規(guī)模為158.5億元人民幣。
Gartner在2019年的報(bào)告中顯示：到2024年，40%的企業(yè)將實(shí)施至少一種混合云存儲(chǔ)方式，高于2019年的10% 。
上述提到的云存儲(chǔ)主要是以AWS S3、EBS、阿里云塊存儲(chǔ)、OSS為代表的公有云存儲(chǔ)。在本篇文章里，云化的概念更廣泛，包括了公有云和私有云。
云的特點(diǎn)包括彈性靈活、按需交付、按用付費(fèi)等，除了眾所周知的公有云之外，還要看到私有云。AWS CEO Andy Jessy在AWS 2019 re:Invent大會(huì)上分享了如下消息：公有云的總支出只占到總IT支出的3% 。也就是說(shuō)，全球IT支出總，私有云仍占絕大多數(shù)。我曾在2017年看到一篇文章提到：預(yù)計(jì)到2040年，公有云大約占整個(gè)IT開(kāi)支的1/3和1/2之間。如果真是如此，也就是說(shuō)即使二十年后，私有云仍占半壁江山。
1）私有云的云化對(duì)接
存儲(chǔ)如何更好的服務(wù)私有云，成為企業(yè)級(jí)存儲(chǔ)的一個(gè)重要課題。除了存儲(chǔ)自身的池化、自動(dòng)化之外，向上提供API，方便私有云管理平臺(tái)按需驅(qū)動(dòng)存儲(chǔ)資源的創(chuàng)建、調(diào)整、優(yōu)化甚至回收，將逐漸成為必備配置。云化對(duì)接包含兩大塊，一是對(duì)接開(kāi)源的云管理平臺(tái)，例如OpenStack的塊接口Cinder、文件接口Manila、對(duì)象接口Swift和幾乎成為標(biāo)準(zhǔn)的AWS S3接口；二是對(duì)接商業(yè)的云管理平臺(tái)，首當(dāng)其沖的是能夠被主流Hypervisor識(shí)別，如VMware ESXi、Microsoft Hyper-V。國(guó)內(nèi)存儲(chǔ)廠商中，浪潮的AS13000在云化對(duì)接中做得更齊全。
容器對(duì)接也可以視為云化對(duì)接的一部分，我們看到越來(lái)越多的用戶，包括互聯(lián)網(wǎng)、金融、電信等行業(yè)，開(kāi)始部署容器技術(shù)。因此存儲(chǔ)支持CSI（Container Storage Interface）接口也將逐漸成為企業(yè)級(jí)存儲(chǔ)的必備配置。
超融合可以視為私有云的一種部署形態(tài)，當(dāng)計(jì)算資源池和存儲(chǔ)資源池在初次采購(gòu)以及后續(xù)擴(kuò)容的過(guò)程中，計(jì)算和存儲(chǔ)的比例比較適中，也即，不會(huì)出現(xiàn)少量計(jì)算資源需要搭配大量存儲(chǔ)空間；也不會(huì)出現(xiàn)大量計(jì)算資源需要搭配很少的存儲(chǔ)空間，此時(shí)超融合是不錯(cuò)的選擇。
2）公私相互滲透
在云計(jì)算領(lǐng)域，開(kāi)始出現(xiàn)To C和To B的融合。
早期公有云的用戶主要是一些C端，或者小B的用戶，隨著云計(jì)算的深入和普及，云巨頭開(kāi)始希望吸引大B用戶。但是，出于隱私保護(hù)、安全性、政府合規(guī)、管理、兼容性、慣性、遷移成本等多種因素的考慮，原有大B用戶遷移到公有云的進(jìn)展比預(yù)期要緩慢。
因此，云巨頭早在幾年前就開(kāi)始通過(guò)構(gòu)建混合云或者私有云的方式來(lái)瓜分B端IT市場(chǎng)的大蛋糕。AWS收購(gòu)E8和推出Outposts，微軟收購(gòu)混合云數(shù)據(jù)存儲(chǔ)公司Avere，阿里云推出混合云存儲(chǔ)方案，騰訊云、金山云、京東云也不甘人后。
另外，因?yàn)槌杀?、空間、能耗等因素，逐漸有更多用戶希望To B的存儲(chǔ)廠商，能夠支持將歷史數(shù)據(jù)備份或歸檔到公有云存儲(chǔ)上。
3、閃存化
根據(jù)IDC 在2019年12月31日的報(bào)道：“2019前三個(gè)季度，中國(guó)企業(yè)級(jí)全閃存存儲(chǔ)陣列市場(chǎng)同比增長(zhǎng)超過(guò)60%。IDC預(yù)測(cè)， 2019年全閃存存儲(chǔ)市場(chǎng)仍將達(dá)到近50%的增長(zhǎng)”。
據(jù)報(bào)道，閃存顆粒價(jià)格逐年下降（按照30%～40%的降幅），如下圖所示。
國(guó)內(nèi)的長(zhǎng)江存儲(chǔ)或?qū)⒓铀匍W存顆粒下降趨勢(shì)；
當(dāng)全閃存相比機(jī)械盤價(jià)格差距不大時(shí)，更多用戶愿意為延時(shí)縮短而買單（目前和15k轉(zhuǎn)，10k轉(zhuǎn)的機(jī)械盤價(jià)格相差不多；7.2k轉(zhuǎn)的機(jī)械盤當(dāng)下價(jià)格還有一些優(yōu)勢(shì)）；
機(jī)械硬盤逐漸退化成類似磁帶地位的介質(zhì)。
而且在當(dāng)前的大背景下，因?yàn)闄C(jī)械硬盤的核心技術(shù)欠缺的原因，大力發(fā)展和推進(jìn)閃存落地具有重要的意義。國(guó)內(nèi)大的存儲(chǔ)廠商中，華為和浪潮都推出了自己的NVMe閃存盤。
閃存化的過(guò)程中，必然催生全閃存陣列的發(fā)展，其中的相關(guān)技術(shù)NVMe Over Fabric（簡(jiǎn)稱NVMe-oF）借助RDMA等超低延時(shí)的傳輸協(xié)議，可遠(yuǎn)程訪問(wèn)SSD，解決了下一代數(shù)據(jù)中心在橫向擴(kuò)展 (Scale-out) 時(shí)所遭遇的性能、功能、容量三者之間難以取舍的權(quán)衡問(wèn)題。
4、智能
這里包括兩個(gè)方面，一是存儲(chǔ)的智能化；二是存儲(chǔ)如何為智能應(yīng)用進(jìn)行優(yōu)化，也即AI存儲(chǔ)應(yīng)該如何優(yōu)化。
1）存儲(chǔ)智能化
存儲(chǔ)智能化所希望達(dá)到的就是能夠根據(jù)業(yè)務(wù)負(fù)載、運(yùn)維管理等的歷史記錄，預(yù)測(cè)未來(lái)可能會(huì)發(fā)生什么，再據(jù)此動(dòng)態(tài)地調(diào)整存儲(chǔ)資源池，做到物盡其用；以及提供預(yù)警信息和執(zhí)行動(dòng)作，做到防患于未然。然而這個(gè)道路非常漫長(zhǎng)，因?yàn)閺S商需要在安全性穩(wěn)定性和性價(jià)比（也即動(dòng)態(tài)調(diào)整存儲(chǔ)資源）之間做取舍；另外要想取得根據(jù)負(fù)載自動(dòng)調(diào)整存儲(chǔ)，其實(shí)不亞于將AI算法植入存儲(chǔ)系統(tǒng)之中，難度不小。目前，存儲(chǔ)廠商中，做得比較好的有HPE的Infosight和浪潮的InView。
2）AI存儲(chǔ)
Gartner報(bào)告顯示，到2022年，企業(yè)高管中將有半數(shù)以上會(huì)規(guī)劃AI技術(shù)的部署，而這一數(shù)字在2018年的時(shí)候僅有4% 。
根據(jù)IDC數(shù)據(jù)，2018年上半年，中國(guó)AI基礎(chǔ)架構(gòu)市場(chǎng)銷售額和出貨量分別同比增長(zhǎng)176%和129% 。
AI所需存儲(chǔ)，可以分為準(zhǔn)備、訓(xùn)練、推理和歸檔等階段，每個(gè)階段的IO特征不一樣，對(duì)于存儲(chǔ)的要求也不一樣。例如，在推理階段，IO的特征是讀寫混合，并且要求存儲(chǔ)的延時(shí)低，能快速響應(yīng)。
國(guó)內(nèi)的AI公司針對(duì)不同行業(yè)不同細(xì)分場(chǎng)景，通過(guò)AI訓(xùn)練導(dǎo)出的模型，銷售給最終用戶。為了增加營(yíng)收，降低部署難度，有不少AI公司將模型以及所需的軟硬件打包，以一體機(jī)的方式銷售。其中的存儲(chǔ)系統(tǒng)多采用OEM或者轉(zhuǎn)售的方式，因?yàn)锳I公司的主業(yè)是它的算法以及針對(duì)場(chǎng)景不斷優(yōu)化，自研存儲(chǔ)納入到一體機(jī)里，性價(jià)比不高。
總結(jié)而言，過(guò)去的這些年，解決了數(shù)據(jù)的存放、保護(hù)和優(yōu)化，尤其是在數(shù)字宇宙迅猛膨脹的過(guò)程中，如何低成本、高效率地存放。
下一個(gè)十年隨著云計(jì)算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新技術(shù)的快速發(fā)展，分布式、全閃存等迎來(lái)市場(chǎng)的高速發(fā)展。除此以外，還有區(qū)塊鏈存儲(chǔ)、邊緣存儲(chǔ)、量子存儲(chǔ)、生物存儲(chǔ)或基因存儲(chǔ)，下面探討下這些新存儲(chǔ)技術(shù)的發(fā)展趨勢(shì)。
（二）知來(lái)者
2019年12月27日，在2019國(guó)際超級(jí)計(jì)算產(chǎn)業(yè)博覽會(huì)上，中國(guó)工程院院士、浪潮集團(tuán)首席科學(xué)家王恩東提到： “智慧時(shí)代，計(jì)算力就是生產(chǎn)力，計(jì)算力指數(shù)是衡量一個(gè)國(guó)家、地區(qū)，甚至是企業(yè)發(fā)展水平的重要指數(shù)” 。
“從全球GDP與服務(wù)器出貨量的分布來(lái)看，全球GDP排名前四的美國(guó)、中國(guó)、日本、德國(guó)，服務(wù)器采購(gòu)量同樣排名前四。數(shù)字經(jīng)濟(jì)在整個(gè)國(guó)家GDP的占比越高，這個(gè)國(guó)家的經(jīng)濟(jì)就越發(fā)達(dá)”。
“同樣，在企業(yè)領(lǐng)域，10年前全球市值最高的十個(gè)企業(yè)，?？松梨凇⒅惺?、沃爾瑪、中移動(dòng)、中國(guó)工商銀行等，都是來(lái)自能源、金融、通信等傳統(tǒng)領(lǐng)域。今天全球市值最高的TOP10企業(yè)，清一色都是互聯(lián)網(wǎng)企業(yè)，比如google、微軟、亞馬遜、騰訊、阿里巴巴，只有一家來(lái)自傳統(tǒng)行業(yè)的沃爾瑪。全球市值TOP級(jí)的企業(yè)也是計(jì)算力消耗最大的，市值排名和服務(wù)器采購(gòu)量排名基本一致”。
王院士還剖析了計(jì)算的演變歷史，“從計(jì)算發(fā)展的形態(tài)來(lái)看，云計(jì)算、智慧計(jì)算和科學(xué)計(jì)算三大典型計(jì)算場(chǎng)景已經(jīng)成為主流信息化形態(tài)。其中，科學(xué)計(jì)算主要用來(lái)完成宇宙探索、石油勘探、海洋開(kāi)發(fā)、工業(yè)仿真、基因測(cè)序等前沿科技領(lǐng)域；云計(jì)算已成為當(dāng)今經(jīng)濟(jì)社會(huì)發(fā)展的‘水電煤’ ”。
其中智慧計(jì)算包括了AI計(jì)算、大數(shù)據(jù)、云計(jì)算和邊緣計(jì)算。
有計(jì)算，就會(huì)有存儲(chǔ)，只是或多或少，或快或慢，或過(guò)渡或長(zhǎng)期保存的區(qū)別。
第一篇“鑒往事”里，我們討論了AI存儲(chǔ)、分布式存儲(chǔ)，未來(lái)在邊緣計(jì)算、量子計(jì)算的場(chǎng)景下，是不是會(huì)催生出邊緣存儲(chǔ)、量子存儲(chǔ)出需求？ 例如有別于云存儲(chǔ)，邊緣存儲(chǔ)應(yīng)該具有功耗較低、占用空間較小，延時(shí)低的特征。
華中科技大學(xué)謝長(zhǎng)生教授在2019中國(guó)數(shù)據(jù)與存儲(chǔ)峰會(huì)分享了“Long Data”也即長(zhǎng)期存儲(chǔ)的挑戰(zhàn)的應(yīng)對(duì)。他提到，國(guó)際上有個(gè)研究課題How preserve information for 100 years？就是如何保存信息一百年。
我想，這種需求，也許會(huì)催生出生物存儲(chǔ)，或基因存儲(chǔ)？
這并不是空穴來(lái)風(fēng)或者異想天開(kāi)。2019年7月，美國(guó)布朗大學(xué)研究人員在新一期《科學(xué)公共圖書館·綜合》雜志上發(fā)表了一篇論文，提到他們用基于生物小分子的存儲(chǔ)系統(tǒng)累計(jì)存儲(chǔ)了超過(guò)10萬(wàn)比特的數(shù)字圖像信息，從中獲得圖像的準(zhǔn)確率可達(dá)98%以上。
一百年太久，只看十年。
個(gè)人認(rèn)為，未來(lái)十年，第一篇“鑒往事”里提到的分布式、云化、閃存化、智能仍然會(huì)延續(xù)。與此同時(shí)，將出現(xiàn)一些新的趨勢(shì)，其中有一個(gè)重要的趨勢(shì)將伴隨著數(shù)字化轉(zhuǎn)型逐漸顯現(xiàn)出來(lái)，背后的原因是：數(shù)據(jù)即資產(chǎn)、數(shù)據(jù)即權(quán)力。無(wú)論做為企業(yè)，還是政府，當(dāng)意識(shí)到數(shù)據(jù)的重要性的時(shí)候，不會(huì)輕易的分享數(shù)據(jù)，或者說(shuō)將這一權(quán)利拱手相讓。如何促進(jìn)數(shù)據(jù)共享呢？
物理學(xué)家張首晟曾提到：“人工智能現(xiàn)在碰到了一個(gè)很大的瓶頸，因?yàn)槿绻?AI 要非常大的進(jìn)步，它必然要需要很大的數(shù)據(jù)，但是現(xiàn)在的數(shù)據(jù)提供方都沒(méi)有足夠的激勵(lì)機(jī)制提供極大量的數(shù)據(jù)”。如何激勵(lì)數(shù)據(jù)提供方（也即用戶和組織）提供數(shù)據(jù)，尤其是隱私數(shù)據(jù)（數(shù)據(jù)越隱私，價(jià)值可能越大）呢？
如何在激勵(lì)數(shù)據(jù)提供方分享數(shù)據(jù)的同時(shí)，又能保護(hù)隱私呢？
答案就是區(qū)塊鏈和存儲(chǔ)的結(jié)合。
張首晟在文章《區(qū)塊鏈技術(shù)是互聯(lián)網(wǎng)世界新的分合轉(zhuǎn)折點(diǎn)》中自己回答到：“一旦有了區(qū)塊鏈之后，如果創(chuàng)造數(shù)據(jù)能被價(jià)值化、共識(shí)化，就會(huì)形成一個(gè)大的數(shù)據(jù)市場(chǎng)，使得人工智能也能夠更往前進(jìn)一步”
區(qū)塊鏈解決了數(shù)據(jù)確權(quán)、激勵(lì)分享、數(shù)據(jù)資產(chǎn)交易和流轉(zhuǎn)等問(wèn)題。但區(qū)塊鏈要發(fā)展，區(qū)塊鏈基礎(chǔ)設(shè)施要先行，尤其是其中的重要組成部分 - 區(qū)塊鏈存儲(chǔ)。區(qū)塊鏈存儲(chǔ)中，比較重要的一類是公鏈存儲(chǔ)，它是跨越全球的存儲(chǔ)池 + Token激勵(lì)機(jī)制。我們可以把它視為去中心化的云基礎(chǔ)設(shè)施的一部分，或者說(shuō)是去中心化的云存儲(chǔ)。它現(xiàn)在還處在非常早期的階段，但已經(jīng)逐漸向我們走來(lái)。
2018年7月，Gartner在其技術(shù)成熟度曲線中，將區(qū)塊鏈存儲(chǔ)（Distributed Storage in Blockchain）列入科技誕生的促動(dòng)期 (Technology Trigger)，并預(yù)計(jì)2023~2028年左右，進(jìn)入到成熟應(yīng)用的技術(shù)階段，將有大量主流用戶開(kāi)始接納。
最后總結(jié)一下：下一個(gè)十年，存儲(chǔ)發(fā)展趨勢(shì)的七個(gè)關(guān)鍵詞是：分布式、云存儲(chǔ)、容器存儲(chǔ)、全閃存、AI存儲(chǔ)、區(qū)塊鏈存儲(chǔ)、邊緣存儲(chǔ)。量子存儲(chǔ)、生物存儲(chǔ)和基因存儲(chǔ)可能還為時(shí)尚早。
轉(zhuǎn)自中國(guó)存儲(chǔ)網(wǎng)，原文鏈接：http://www.chinastor.com/stnews/0116435I2020.html
