在2021乃至下一個十年，存儲行業(yè)將迎來哪些發(fā)展？有哪些技術(shù)將逐漸被淘汰，又有哪些技術(shù)會興起？
擁有30余年從業(yè)經(jīng)驗的IT顧問Chris Evans分享了他對存儲介質(zhì)、系統(tǒng)、SDS，以及容器附加存儲技術(shù)（Container attached storage）的發(fā)展洞察。
本文在不改變原意的基礎(chǔ)上進(jìn)行了節(jié)選翻譯，以下為正文內(nèi)容。
存儲介質(zhì)
PLC閃存開始興起：PLC將每個存儲單元（Cell）中數(shù)據(jù)存儲位數(shù)從QLC的4個提高到了5個，相比QLC只提升了25％，技術(shù)發(fā)展的回報率持續(xù)下降。
SLC->MLC–容量提升達(dá)100%
MLC->TLC–容量提升達(dá)50%
TLC->QLC–容量提升達(dá)33%
QLC->PLC–容量提升達(dá)25%
數(shù)據(jù)存儲位數(shù)的提升是以犧牲耐用性來實現(xiàn)的，這意味著PLC將更適合用于讀密集型負(fù)載，當(dāng)然，存儲廠商會繼續(xù)優(yōu)化介質(zhì)的耐用性，但不可避免的是，隨著數(shù)據(jù)存儲位數(shù)的提升，延遲會越來越高。
應(yīng)該不會有單純用PLC的存儲設(shè)備，PLC應(yīng)該結(jié)合其它技術(shù)來使用，比如分區(qū)存儲（Zoned Storage）。在分區(qū)存儲中，部分介質(zhì)以PLC的模式運行，而另外一部分則是TLC或者QLC的模式運行。這種方式可能還會與其他方案，比如計算型存儲（Computational Storage）結(jié)合。
400層的NAND閃存：現(xiàn)在的NAND介質(zhì)正在向176層和192層發(fā)展，而且，發(fā)展的步伐似乎沒有放慢的意思。我們可以期待在2021年看到至少384層或者256層的NAND。
如果能在不進(jìn)行大量重新設(shè)計的前提下繼續(xù)提升密度，那么增加層數(shù)的回報會大于數(shù)據(jù)存儲位數(shù)增加的回報。在未來的發(fā)展中，靠增加層數(shù)實現(xiàn)的增長速度可能會放緩，但目前來看，3D-NAND增加層數(shù)仍是增加設(shè)備容量的主要方式。
分區(qū)介質(zhì)：無論是在磁盤還是固態(tài)存儲市場，分區(qū)存儲對于大容量存儲介質(zhì)都非常重要。SMR技術(shù)提升了磁盤的存儲密度，如今有許多操作系統(tǒng)都對SMR進(jìn)行了優(yōu)化，不過，要注意的是，在引入對性能有較大影響的技術(shù)時，廠商需要盡可能透明。
在未來十余年，HAMR，HDMR和MAMR還將繼續(xù)不斷提升容量。如果成本合理的話，未來幾年可能會看到多讀寫臂磁盤，甚至每個盤片都有一個獨立的磁頭。
所有這些技術(shù)趨勢都說明需要在外部外圍設(shè)備上做更多工作，來實現(xiàn)更大的并行度，這種趨勢在未來十年將持續(xù)下去。
計算型存儲用例：計算型存儲是一種新的解決I/O瓶頸的方式，它將計算推送到存儲一側(cè)。在許多場景下，這種方式都可以高效地進(jìn)行分布式計算，可以對數(shù)據(jù)執(zhí)行獨立的進(jìn)程。
計算型存儲廠商已經(jīng)在市場上推出了相應(yīng)產(chǎn)品，但應(yīng)用還沒有跟上，炒作的意義更大一點?，F(xiàn)階段還處于早期，主要的解決方案要么是實現(xiàn)批處理，要么則是基于事件的處理，或者是用在存儲上，例如用于嵌入式固件或FPGA中的壓縮過程。
希望2021年能出現(xiàn)新的編程模型，允許跨多個設(shè)備進(jìn)行分布式處理。同時，還希望出現(xiàn)改進(jìn)的安全控制措施，以防止計算型存儲設(shè)備被用作攻擊媒介。
我希望能看到計算型存儲在邊緣場景部署，并集成到傳統(tǒng)存儲設(shè)備中，幫助傳統(tǒng)存儲做Offload，從而減輕傳統(tǒng)存儲處理數(shù)據(jù)密集型工作負(fù)載的壓力。
DNA存儲：把DNA用于長期存儲的概念雖然有了發(fā)展的苗頭，但我預(yù)測下一個十年中，DNA存儲還是只能停留在概念階段。
總結(jié)：
過去十年里，存儲領(lǐng)域最重要的變化就是存儲軟件和硬件之間的集成和協(xié)作水平在不斷提高。磁盤和SDD不只是一個個黑盒子，存儲系統(tǒng)必須考慮每種介質(zhì)的物理特性。
在許多情況下，操作系統(tǒng)或應(yīng)用程序?qū)又g的相互調(diào)用會讓依賴關(guān)系變得復(fù)雜，在未來十年的發(fā)展中，那些在市場上比較成功的存儲系統(tǒng)，他們的系統(tǒng)與存儲介質(zhì)之間的交互將更加密切，系統(tǒng)的復(fù)雜度也會繼續(xù)增加。
存儲系統(tǒng)
成本降低且可靠性提升：云存儲的成本已經(jīng)趨于平穩(wěn)，不會有大幅度的降低，目前，云廠商主要是通過構(gòu)建更多的層級來降低成本，而本地存儲市場會面臨更激烈的競爭。
基于服務(wù)的定價模型：接下來幾年，基于服務(wù)的采購和計費將更流行。這要求架構(gòu)具備良好的擴展性，具有遠(yuǎn)程管理功能，并且具備高度商品化的特點。
轉(zhuǎn)向全閃存：全閃數(shù)據(jù)中心說了很多年了，隨著閃存成本的降低，單位容量的價格也越來越低，但對于大量冷數(shù)據(jù)而言，閃存在未來十年可能都沒什么吸引力。但對于活躍的數(shù)據(jù)而言，閃存和持久性內(nèi)存將取代磁盤驅(qū)動器。我預(yù)計，硬盤將在五年內(nèi)成為歸檔解決方案的專屬介質(zhì)。
功能特性停滯不前：如今，很難在共享存儲解決方案中看到新的功能特性。未來十年里，存儲平臺的新功能將越來越少，存儲平臺的變化也會越來越小。存儲系統(tǒng)最主要的變化在于如何利用好新的介質(zhì)。
企業(yè)存儲陣列走向終結(jié)：起源于上世紀(jì)九十年代的“整體式”存儲架構(gòu)將走向終點，當(dāng)然，與大型機關(guān)聯(lián)的存儲還會繼續(xù)存在。中端存儲能滿足絕大多數(shù)的存儲需求，我預(yù)計主流的塊存儲平臺都將是以中端存儲為主。
集成：共享存儲最大的優(yōu)勢就是它的集成度。如果像Kubernetes這種容器框架變得跟容器一樣動態(tài)性極強，那就得構(gòu)建一個新的持久性存儲層，而共享存儲就非常合適。共享存儲不僅具備持久性和彈性，它還集成了數(shù)據(jù)保護(hù)功能。我希望能有更多類似的集成，這樣一來，存儲系統(tǒng)可以在連接服務(wù)器的狀態(tài)下，實現(xiàn)更高的自主性。
SOHO存儲廠商的崛起：在經(jīng)典的創(chuàng)新者的窘境中，我設(shè)想會出現(xiàn)這種存儲廠商，它從低端市場入局，從家用存儲市場開始入手，然后逐步向越來越多的存儲場景滲透。然而，小容量的存儲市場將面臨更多的挑戰(zhàn)，包括來自公有云存儲的挑戰(zhàn)。
總結(jié)：
共享存儲市場是一個非常成熟的市場，廠商之間存在激烈的競爭關(guān)系，利潤會越來越薄。未來十年，預(yù)計設(shè)備廠商數(shù)量將大大減少，目前，我們已經(jīng)看見了許多合并和收購案。2021年，預(yù)計會有更多合并和收購發(fā)生，到2030年的時候，市場上將會剩下僅有的幾家廠商。存儲設(shè)備廠商的黃金時代已經(jīng)過去，接下來將是軟件和云的時代。
軟件定義存儲
早期的SDS方案主要是軟硬件分離，廠商主要賣的是可在標(biāo)準(zhǔn)硬件上運行的軟件，根據(jù)容量或硬件的Lincence收費。雖然低成本的硬件很有吸引力，但它存在兼容性，Bug和供應(yīng)鏈等方面的挑戰(zhàn)。于是，后來的SDS方案主要是軟硬一體的方式交付，以下是我對SDS發(fā)展階段的總結(jié)：
硬件分離–存儲軟硬件獨立部署；
專有的SDS解決方案–包括對象和文件存儲，以及大量基于塊的產(chǎn)品；
專有的SDS系統(tǒng)，將軟件方案與經(jīng)認(rèn)證和測試的硬件打包來出售，具備可預(yù)測和可擴展的性能；
抽象的SDS解決方案–可根據(jù)指標(biāo)和QoS交付存儲資源的軟件產(chǎn)品，與硬件無關(guān)；
合作伙伴模式–廠商把SDS產(chǎn)品作為集成解決方案的一部分進(jìn)行銷售。
此外，還有一種新的存儲分支正在發(fā)展當(dāng)中，它就是容器附加存儲，它使用容器技術(shù)來交付存儲資源，通常以Kubernetes集群的形式存在，這是本文另外一部分要談的內(nèi)容。
軟件定義存儲已被業(yè)界廣泛認(rèn)可為標(biāo)準(zhǔn)的部署模型。甚至專有存儲硬件廠商也在利用軟件來提供新功能，云廠商提供虛擬設(shè)備或基于云的本地存儲硬件服務(wù)?？梢哉f，SDS在整個行業(yè)取得了巨大成功，除了支持大型機所需的高端存儲，SDS都是最常見的開發(fā)和部署模式。
過去十年當(dāng)中，處理器通過不斷增加核數(shù)性能有了顯著提高，DRAM內(nèi)存的性能也有明顯提升，總線速度提升也非常明顯，同時，還出現(xiàn)了新的存儲介質(zhì)，SDS充分利用到了性能提升所帶來的價值。
軟件因為充分利用了硬件的優(yōu)勢而得到了發(fā)展，兜兜轉(zhuǎn)轉(zhuǎn)，硬件再次成為焦點。SmartNIC（智能網(wǎng)卡）出現(xiàn)了，SmartNIC可以將存儲，網(wǎng)絡(luò)和一些安全負(fù)載轉(zhuǎn)移到專用硬件上，從而提高效率。SmartNIC的流行是因為公有云廠商想要進(jìn)一步優(yōu)化硬件架構(gòu)，為的是降本增效。還有的廠商在用ARM來運行通用負(fù)載，還有的在使用帶有ARM內(nèi)核和FPGA的SmartNIC。
SmartNIC目前還處于早期階段，我們可以拭目以待，看看這項技術(shù)能有多大的適用范圍，是否會從大企業(yè)滲透到中小型企業(yè)。
SDS的主要發(fā)展趨勢如下：
萬物皆SDS：最明顯的變化可能是，所有存儲資源都是軟件定義的。通用CPU功能強大，足以滿足幾乎所有企業(yè)的大多數(shù)I/O要求。當(dāng)商用標(biāo)準(zhǔn)硬件可以滿足90％的需求時，也就沒有開發(fā)專有存儲硬件的必要了。
更高度的集成度、更高的復(fù)雜度：無論是要緩解NAND的壓力，還是想充分利用持久性內(nèi)存，又或者是希望高效地用磁盤做歸檔，都需要軟件需要能充分利用各種介質(zhì)的特點，為此，就需要新的存儲API。目前，包括以太網(wǎng)SSD，EBOF（Ethernet Bunch of Flash）以及MCAS等解決方案中已經(jīng)開始用新的API，Linux系統(tǒng)也開始提供支持SMR硬盤的API來優(yōu)化性能。存儲廠商也會用新技術(shù)來開發(fā)新的存儲產(chǎn)品。
更好的數(shù)據(jù)管理：大多數(shù)存儲解決方案都是采用標(biāo)準(zhǔn)協(xié)議來訪問數(shù)據(jù)，從長遠(yuǎn)來看，這一做法無法應(yīng)對來自AI、數(shù)據(jù)分析、數(shù)據(jù)移動性以及數(shù)據(jù)安全方面的挑戰(zhàn)。SDS需要通過擴展文件系統(tǒng)的功能和新的API來解決數(shù)據(jù)管理問題，比如，為文件系統(tǒng)添加數(shù)據(jù)保護(hù)和信息生命周期管理（IML）功能。
更好的數(shù)據(jù)移動性：當(dāng)前最大的挑戰(zhàn)之一就是如何管理跨地域和技術(shù)邊界的數(shù)據(jù)訪問的問題。如今，數(shù)據(jù)不是在本地就是在公有云中，數(shù)據(jù)孤島現(xiàn)象明顯，數(shù)據(jù)移動性有限，無法跨平臺訪問數(shù)據(jù)。市場上有一些解決數(shù)據(jù)移動性問題的解決方案，但這個市場上沒有做得特別出色的廠商。SDS的發(fā)展應(yīng)該關(guān)注如何解決數(shù)據(jù)移動性挑戰(zhàn)。有觀點認(rèn)為，了解數(shù)據(jù)和應(yīng)用程序的結(jié)構(gòu)以及需求，具備數(shù)據(jù)感知能力（Data Awareness）之后才能解決數(shù)據(jù)移動性和數(shù)據(jù)管理方面的挑戰(zhàn)。
總結(jié)：
SDS悄然改變了存儲行業(yè)，幾乎所有東西都是由軟件定義的。未來成功的存儲解決方案將是那些具有靈活消費模型，不依賴于硬件的，能很好地支持?jǐn)?shù)據(jù)管理，能提供良好數(shù)據(jù)移動性的解決方案。與以往的市場格局一樣，同樣會有領(lǐng)導(dǎo)者和掉隊者，同樣還會有吃老本的企業(yè)，但市場份額會持續(xù)走低。未來十年的存儲市場將以更快的速度發(fā)展。
容器附加存儲
容器附加存儲（Container-attached storage，以下簡稱“CAS”），CAS提供了數(shù)據(jù)向應(yīng)用映射的新的范式，依賴于容器環(huán)境自身來提供持久存儲。隨著容器尤其是Kubernetes成為重要的應(yīng)用程序交付平臺，CAS是否會被廣泛使用呢？
經(jīng)過過去五年的發(fā)展，應(yīng)用的容器化趨勢越發(fā)明顯，Kubernetes已經(jīng)成了最主流的容器編排平臺。當(dāng)容器技術(shù)剛剛興起時，業(yè)界普遍認(rèn)為根本不需要持久存儲，所需的持久性通過應(yīng)用程序?qū)拥臄?shù)據(jù)復(fù)制和鏡像來就能實現(xiàn)。
但隨著容器技術(shù)的發(fā)展，就連傳統(tǒng)數(shù)據(jù)庫軟件和許多應(yīng)用都進(jìn)行了容器化，于是便對數(shù)據(jù)存儲產(chǎn)生了一種新的需求：要求數(shù)據(jù)在某個容器的生命周期內(nèi)持續(xù)存在。事實上，由于種種原因，想要數(shù)據(jù)持續(xù)存在是很難的。
首先，通過應(yīng)用程序?qū)訉崿F(xiàn)的持久性會帶來相當(dāng)大的開銷，需要在容器基礎(chǔ)架構(gòu)側(cè)進(jìn)行許多數(shù)據(jù)復(fù)制數(shù)據(jù)操作，而不是基于主機的I/O操作。
其次，許多應(yīng)用平臺可能沒有數(shù)據(jù)復(fù)制功能，如果只依賴于映像副本來實現(xiàn)持久化，數(shù)據(jù)本身并不可靠。
第三，企業(yè)需要持久性存儲來滿足其在合規(guī)性和審計方面的要求，持久存儲對于數(shù)據(jù)保護(hù)和安全控制至關(guān)重要。
最開始，持久存儲是通過卷、LUN或者目錄直接映射到容器上，但這種做法不僅效率低，而且缺乏靈活性，隨著時間的推移，容器存儲接口（Container Storage Interface，CSI）成了容器存儲的標(biāo)準(zhǔn)方法，讓存儲廠商來開發(fā)將存儲映射到容器的插件，容器生態(tài)系統(tǒng)通過一個進(jìn)程來動態(tài)地請求存儲，該進(jìn)程屏蔽了存儲平臺的差異性。
容器附加存儲（CAS）是一個軟件平臺，它使用容器生態(tài)系統(tǒng)來為容器提供存儲。為了認(rèn)識CAS是什么，我們可以做一個簡單的類比，與HCI相似的是，每個服務(wù)器節(jié)點運行一個專用的虛擬機來提供存儲，或者在運行著hypervisor的節(jié)點之上運行來構(gòu)建橫向擴展存儲層。
在這兩種模式中，每臺服務(wù)器都有映射到虛擬機的本地存儲，提供數(shù)據(jù)保護(hù)（副本或糾刪碼）和自管理功能。CAS的做法與HCI存儲類似，它也使用容器集群中每個服務(wù)器上的本地存儲資源，將存儲作為一組容器化進(jìn)程或微服務(wù)來交付。
與此前的HCI一樣，CAS也取消了對于專有SAN的依賴，至少不依賴于當(dāng)前常見的共享存儲，如果容器平臺是通過虛擬機來交付的，那么，每個VM都可以使用附加存儲（無論最終是否由SAN提供），這里的存儲被被CAS數(shù)據(jù)平面劃分成不同的卷。
而在裸金屬環(huán)境中，先由本地磁盤資源被抽象到容器卷中，然后，CAS軟件維護(hù)有關(guān)物理存儲容量如何分配的元數(shù)據(jù)和狀態(tài)信息。由于元數(shù)據(jù)存儲（通常是etcd或其他鍵/值集群）變得至關(guān)重要，所以，大多數(shù)廠商都是將元數(shù)據(jù)存儲與運行應(yīng)用程序的容器集群分開了。
CAS的主要發(fā)展趨勢如下：
成熟度：最明顯的變化可能是新特性和新功能的開發(fā)。CAS解決方案的成熟度跟現(xiàn)有成熟的存儲解決方案還有很大差距，比如，在數(shù)據(jù)保護(hù)和其他數(shù)據(jù)服務(wù)方面還有很大欠缺。CAS也需要考慮利用持久內(nèi)存之類的新介質(zhì)。
數(shù)據(jù)移動性：當(dāng)前的CAS解決方案尚未完全解決混合存儲所需的數(shù)據(jù)移動性問題。例如，在虛擬機上運行的應(yīng)用，需要通過基于容器的代碼來對需要分析的數(shù)據(jù)打快照。如今，構(gòu)建這種工作流都需要手工操作。
安全性：CAS解決方案還存在安全性方面的問題，與之前的FC或iSCSI一樣，CAS的安全控制很弱或根本就沒有安全控制，沒有真正的驗證或?qū)徍四芰Α＿@是由于這些協(xié)議的安全設(shè)計本身造成的。
性能管理：CAS解決方案需要更強的實時性能分析能力。一些存儲廠商提供儀表盤來對卷進(jìn)行可視化管理，并建議使用Prometheus服務(wù)監(jiān)控系統(tǒng)來監(jiān)控性能指標(biāo)，從而提供與成熟共享存儲類似的功能。
CAS面臨的一些挑戰(zhàn)的根源還在于CSI，CSI本質(zhì)是一種模擬FC和iSCSI網(wǎng)絡(luò)的存儲連接功能，當(dāng)前的設(shè)計方案甚至還有三十年前大型機存儲管理子系統(tǒng)方案的影子。我們應(yīng)該重新設(shè)計應(yīng)用程序數(shù)據(jù)到容器的映射方式，比如，使用共享文件存儲或者對象存儲，而不只是塊存儲。
SmartNICs和離散型存儲也是CAS可以發(fā)揮價值的領(lǐng)域。與物理存儲只能固定在一臺設(shè)備上不同的是，CAS可以通過網(wǎng)絡(luò)動態(tài)分配存儲，由于它可以訪問存儲在網(wǎng)絡(luò)其他位置的持久數(shù)據(jù)，這將使構(gòu)建動態(tài)裸金屬存儲集群變得更容易。此外，SmartNIC軟件提供了一個安全模型，可用來驗證數(shù)據(jù)訪問權(quán)限。
總結(jié)：
CAS在本質(zhì)上也是一種SDS，其長遠(yuǎn)目標(biāo)似乎是要做容器生態(tài)系統(tǒng)的抽象和映射層，成功的關(guān)鍵主要取決于數(shù)據(jù)感知能力，而不僅僅是靠另一種連接協(xié)議。容器存儲無疑是未來十年最需要繼續(xù)關(guān)注的領(lǐng)域之一。
