SSD技術的發(fā)展進步將成為2018年影響企業(yè)存儲的主要趨勢之一。
在過去的2017年中,全球的存儲行業(yè)可以說是經(jīng)歷了一次過山車般的發(fā)展模式,傳統(tǒng)SAN設備的衰落隨著企業(yè)組織紛紛對超融合基礎設施、純軟件解決方案和固態(tài)硬盤的興趣大漲而抵消。我們看到,隨著SSD固態(tài)硬盤對數(shù)據(jù)中心存儲的性能所帶來的提升,企業(yè)已經(jīng)從硬盤轉(zhuǎn)向固態(tài)硬盤的采用。
在新的2018年,整個業(yè)界將繼續(xù)以這些趨勢為基礎,并將為數(shù)據(jù)中心存儲發(fā)展藍圖增加諸多新的亮點。而SSD在核心技術、性能、容量和價格這四大方面仍然還將保持迅速的發(fā)展。NVMe已經(jīng)將閃存IOPS和GB /秒帶到了主流應用領域,我們站在了主流通過以太網(wǎng)采用NVMe的邊緣,對存儲系統(tǒng)的未來配置帶來了廣泛的啟示。
供應商們的32TB固態(tài)硬盤正在大規(guī)模的發(fā)貨,而最大的硬盤驅(qū)動器則遠遠落后于16TB.隨著3D芯片技術的大幅進步,2018年,我們應該會看到50TB和100TB的驅(qū)動器,特別是如果4位存儲單元達到其目標的話。大部分的閃存芯片供應短缺已不復存在,價格應該再次開始下降,盡管需求的增長可能比預期的要快,并相應的會讓價格降低的步伐有所放緩。
除了驅(qū)動器本身之外,RAID陣列也將陷入麻煩。由于控制器設計的固有性能瓶頸,超過幾個固態(tài)硬盤的處理便會是一個真正的挑戰(zhàn)。同時,本質(zhì)上是成本架構便宜的商用現(xiàn)成服務器的小型存儲設備滿足了對象存儲和超融合節(jié)點的需要。這種遷移正是由諸如Excelero這樣的初創(chuàng)公司所推動的,他們使用基于以太網(wǎng)的NVMe以RDMA速度將驅(qū)動器直接連接到集群架構。
近期的業(yè)績反映了行業(yè)正在轉(zhuǎn)向COTS(商用現(xiàn)成產(chǎn)品,Commercial-Off-The-Shelf)服務器框架。除NetApp之外,傳統(tǒng)的存儲供應商們的營收都在經(jīng)歷著個位數(shù)的增長,而向云服務提供商們提供大量COTS的原始設計制造商們的營收則共計增長了44%.這種增長的背后是非捆綁存儲軟件的可用性的日益增加。低成本的存儲平臺和軟件的結(jié)合正在迅速推動存儲市場的商品化。隨著軟件定義存儲(SDS)開始影響市場,2018年這一趨勢將會進一步加速。
SDS是一個廣泛的概念,但其本質(zhì)上是從硬件平臺上分離控制和服務軟件。這一概念在網(wǎng)絡和云服務器上非常成功,因此將其擴展到存儲領域不僅是合理的,而且是必需的。我們將在2018年看到更多的SDS解決方案,而且,這一領域的競爭激烈程度將會遠遠超出我們在過去十年中任何一年所經(jīng)歷的。
NVMe將繼續(xù)取代SAS和SATA,成為企業(yè)級驅(qū)動器的接口。除了節(jié)省了CPU開銷,NVMe還支持新的規(guī)格的驅(qū)動器。2018年我們可以預期2.5英寸規(guī)格大小的32TB + SSD的問世,以及使用M.2存儲變種的服務器的問世。這將產(chǎn)生很大的影響。
英特爾推出了一款具有33+ TB容量的M.2規(guī)格刀片式驅(qū)動器,可以安裝在1U服務器上,并擁有32個插槽。這給我們提供了一款1PB的超高速1U存儲解決方案。其他供應商也同樣都在積極的研發(fā)類似密度的產(chǎn)品,這是一大重要的趨勢。存儲盒將變得更小,容量也將變得更大,并且由于SSD技術的發(fā)展速度,其性能超過了大部分的HDD陣列?,F(xiàn)在,企業(yè)數(shù)據(jù)中心的存儲設備管理人員們可以放心大膽的去找CIO說:“我真的可以縮小數(shù)據(jù)中心的規(guī)模了!”
高性能SSD能夠?qū)⒅貜蛿?shù)據(jù)刪除和壓縮數(shù)據(jù)放在后臺工作。執(zhí)行這項任務的服務使用存儲驅(qū)動器的多余帶寬。對于大多數(shù)商業(yè)使用案例而言,有效容量是原始容量的5倍以上??偟膩碚f,壓縮技術減少了所需小型設備的數(shù)量,使SSD存儲比硬盤便宜得多。
下面,就讓我們來深入探討一下在新的2018年數(shù)據(jù)中心所有這些存儲趨勢的細節(jié)吧。
SSD的性能
高端SSD已經(jīng)可以實現(xiàn)每秒10GB的吞吐量和數(shù)百萬的隨機IOPS.企業(yè)和商用SSD之間的性能差異主要在于內(nèi)部訪問路徑的并行性和NVMe接口的效率。NVMe使用與SATA幾乎相同的PCIe連接,而NVMe的成本大致相同。這推動了向NVMe的遷移,而NVMe已經(jīng)將SAS作為SSD接口進行了壓縮,并有可能在2018至2019年間實現(xiàn)跨所有SSD的廣泛使用。具有NVMe / PCIe接口的M2.0規(guī)格尺寸的固態(tài)盤已經(jīng)上市,與SATA驅(qū)動器的價格大致相同。采用NVMe將加速所有固態(tài)硬盤,盡管由于并行性,非常高端的硬盤仍然有其優(yōu)勢。
SSD容量增加
在2017年9月召開的閃存峰會(Flash Memory Summit 2017)上,供應商們宣布了打造100TB 2.5硬盤的計劃。在2018年,我們可能會看到這些產(chǎn)品的問世,但其容量更有可能是達到了50或64TB,但這已經(jīng)是當前最大SSD容量的兩倍。這些大容量代表了存儲設備占用空間、功耗和特別是盒子數(shù)量的大幅減少,在整個主板,存儲的總體擁有成本(TCO)都將轉(zhuǎn)移到SSD上。壓縮技術代表了有效容量大約提高了5倍,而32+ TB的SSD固態(tài)硬盤甚至已經(jīng)擊敗了HDD存儲硬盤。
四層單元(即4bit/cell,Quad-Level Cell,QLC)將進一步提高容量,盡管隨著單元中存儲的電壓水平更接近,寫入磨損更為明顯。直到2018年,糾錯和信號處理改進才真正實現(xiàn),QLC將可能僅僅作為冷數(shù)據(jù)驅(qū)動器使用,這直接挑戰(zhàn)了SATA bulk 3.5驅(qū)動器。
究竟每款驅(qū)動器多少容量才是足夠的呢?這是一個棘手的問題,因為超大型硬盤改變了使用規(guī)則。我們可以就每TB的帶寬進行辯論,但這與冷存儲(cold storage)無關。另一方面,大容量意味著許多NAND芯片,也就意味著更多的并行性和性能,所以這些驅(qū)動器也可以作為主驅(qū)動器。
諸如驅(qū)動器本地NVMe等通過以太網(wǎng)而實現(xiàn)的共享架構,將影響選擇哪個SSD接口。我們可能會看到這些帶有40GbE或更快速端口的硬盤,從而實現(xiàn)高帶寬共享。
RAID磁盤陣列模式下降加速
RAID正在屈服于全閃存陣列和SSD存儲設備發(fā)展的必然性。這些設備對于陣列架構來說太快了。隨著固態(tài)硬盤和2.5英寸規(guī)格尺寸產(chǎn)品容量的增加,對于既定數(shù)量的存儲所需的盒子數(shù)量與SSDS相比要少得多。由于全閃存陣列較之RAID陣列的性能優(yōu)勢,使得SAN模式在業(yè)界已經(jīng)運行了數(shù)十年了,所以迄今為止,這一下滑速度一直很緩慢。這可能是由于企業(yè)不愿胡亂地修補一些有用的東西,同時更有興趣在昂貴的陣列未折舊的部分獲得回報。我的感覺是,2018年,這一領域?qū)⒂写蟮淖兓?,并將出現(xiàn)從RAID到超融合基礎設施和緊湊型存儲設備的更協(xié)調(diào)一致的轉(zhuǎn)移。通過RAID擦除編碼的好處將使得這一點得到加強,就像使用數(shù)據(jù)壓縮技術一樣。
COTS的興起
COTS組件將興起。實際上,在服務器和存儲市場的份額中都在快速增長。對于買方而言,經(jīng)濟和性能方面的優(yōu)勢較之專有硬件平臺使其很難受到青睞。COTS模式的影響將在2018年顯著增強。如下這些數(shù)據(jù)將為這一趨勢提供支持:2017年第三季度,基于COTS的ODM營收增長了44%,而大多數(shù)供應商則持平。伴隨著COTS迅速增長將是存儲軟件選項的迅速擴張,這些增長將來自于當前既有的供應商和初創(chuàng)企業(yè)。COTS更適合于諸如SDS和HCI等概念。COTS設備易于集成,因為接口和架構符合完全具備互換性的樂高模型。這意味著企業(yè)買家不需要大型的整合團隊,尤其是隨著第三方服務可用性的實現(xiàn)和整合。
軟件定義的存儲
軟件定義的存儲被大肆已經(jīng)炒作了一段時間,其原本最初的價值主張是打造靈活的、可擴展的和低成本的虛擬化存儲服務。去年,由于供應商宣布推出了不少產(chǎn)品,特別是在對象存儲堆棧中,這方面的技術開始成熟。預計這一趨勢將在2018年加速,使硬件成為可互換的商品,并將存儲價值轉(zhuǎn)移到軟件和解決方案的集成整合上。而與此同時,朝著混合云方向的發(fā)展將推動SDS的發(fā)展。存儲管理將變得更加自動化,就像云服務器一樣。這將迫使數(shù)據(jù)中心人員和管理員將變得更明智的,以便能夠獲得所需的相關新技能。
NVMe over Ethernet(NoE)
NVMe over Ethernet(NoE)剛剛進入市場,但其對快速增長的HCI市場所帶來的影響卻非常明顯,以至于其在2018年的普及采用可能會非常強勁。在系統(tǒng)集群中共享所有存儲的理念已經(jīng)存在一段時間了,但在架構上的性能一直比本地驅(qū)動器慢得多,這在一定程度上妨礙了企業(yè)用戶采用的興趣。NVMe over Ethernet解決了這個問題。關于NVMe光纖通道 (NVMe over Fibre Channel)有一些討論,當然其也可以在InfiniBand上運行,但是現(xiàn)在可用的以太網(wǎng)解決方案的成本已經(jīng)便宜很多了,而且數(shù)量也很大。與服務器集群的通用性架構是以太網(wǎng)市場的贏家,所以我們可以期待其他解決方案成為該市場獨占的細分市場主導。
預計NVMe over Ethernet SSD驅(qū)動器產(chǎn)品將會在2018年下半年推出,從而提供更多的架構靈活性,實現(xiàn)服務器節(jié)點與集群和專用驅(qū)動器盒共享驅(qū)動器,并且都直接連接到光纖陣列。隨著像最新的Snapdragons這樣的ARM64 CPU的出現(xiàn),我們應該規(guī)劃這些驅(qū)動器更加智能化,具備包括目標代碼,大數(shù)據(jù)處理等等功能。
超密集的打包封裝和數(shù)據(jù)壓縮技術
SSD供應商正在探索使用比2.5英寸硬盤小得多的產(chǎn)品。M2.0已經(jīng)很普遍,并且正在被延長到新的長度,具備延長的存儲刀片。這些產(chǎn)品的功耗非常小,可以實現(xiàn)高封裝密度。因此,我們可以期待英特爾或?qū)⒛軌驗槲覀兲峁┚哂?PB的 SSD存儲容量的32刀片1U設備。再加上壓縮技術的采用,可以將網(wǎng)絡吞吐量與數(shù)據(jù)壓縮的數(shù)據(jù)量相提并論,并且存儲設備可以在1U設備中有效地支持5PB.這將意味著存儲場(storage farm)將一去不復返了,因為所有那些RAID機柜已經(jīng)過時了。除英特爾以外,其他的供應商們也計劃向同一方向發(fā)展,到2019年,存儲和系統(tǒng)將有很大的不同。
NVDIMM
CPU內(nèi)存總線上的快速訪問持久性內(nèi)存的理念是一個模式轉(zhuǎn)換的概念,現(xiàn)在已經(jīng)真切的到來了。2018年,其將帶來一些短期的影響和長期趨勢,但可以肯定的是,大量企業(yè)的IT部門忽視了這一趨勢。在短期內(nèi),到2018年,使用閃存的NVDIMM要比使用閃存的SSD要快2倍左右。而Optane將達到4倍或更快。這假定NVDIMM模擬塊I / O設備,看起來像一個驅(qū)動器,所以系統(tǒng)文件堆棧被調(diào)用,4KB塊被移動。但是,所有NVDIMM都可能是按字節(jié)尋址的?;贜AND的解決方案具有SRAM或DRAM緩沖器,在發(fā)生電源故障時備份。此外,Optane可以直接編寫。所有這一切打開了將I / O從文件方式轉(zhuǎn)移到使用單一寄存器存儲器CPU指令和將持久空間作為DRAM一部分的前景。
這項工作需要系統(tǒng)方面的許多變化。操作系統(tǒng)需要知道,某些內(nèi)存像編譯器,鏈接編輯器和系統(tǒng)工具一樣是持久的。最難的部分是所有使用字節(jié)模式的應用都需要在文件I / O區(qū)域進行大量的重寫。一些用例(如數(shù)據(jù)庫)將成為早期采用者,因為這些更改可能會被用戶屏蔽。字節(jié)模式需要一些時間才能成為主流,雖然I / O的1000倍性能所帶來的好處將會產(chǎn)生很大的壓力。