隨著物聯(lián)網(wǎng)設(shè)備和5G快速無線技術(shù)的興起,企業(yè)正朝著基于邊緣的基礎(chǔ)架構(gòu)部署邁進(jìn)。計算存儲是一種新的存儲技術(shù),它可以為邊緣基礎(chǔ)設(shè)施的存儲和計算部分提供支持。利用計算存儲、企業(yè)和電信服務(wù)提供商將有可能在邊緣節(jié)點上支持大量數(shù)據(jù)處理。
一些公司已經(jīng)開始為企業(yè)等提供計算存儲解決方案。下面讓我們深入了解計算存儲的概念,以及它是如何得到企業(yè)和技術(shù)供應(yīng)商支持的。
對計算存儲的需求
目前,技術(shù)領(lǐng)域的發(fā)展主要集中在數(shù)字用戶的智能實時體驗上。這就要求數(shù)據(jù)中心或基礎(chǔ)設(shè)施堆棧達(dá)到極高性能水平,配備所有最新的硬件資源和計算處理技術(shù),人工智能、機器學(xué)習(xí)、分析技術(shù)已經(jīng)轉(zhuǎn)移到數(shù)據(jù)中心,使得數(shù)字設(shè)備智能化。
因此,我們看到了許多新數(shù)據(jù)中心技術(shù)的發(fā)展,用來提高數(shù)據(jù)中心的性能。同時我們發(fā)現(xiàn),傳統(tǒng)的機械硬盤正在被基于閃存的固態(tài)硬盤陣列所取代:使用NVMe和FPGA來增強存儲設(shè)備中的數(shù)據(jù)訪問;使用GPU實現(xiàn)超大規(guī)模數(shù)據(jù)中心等等??偟膩碚f,我們見證了支持處理大量數(shù)據(jù)的高性能計算(HPC)系統(tǒng)的出現(xiàn)。
向數(shù)字化轉(zhuǎn)型導(dǎo)致了兩種類型的需求逐漸擴大。首先,Al/ML和分析應(yīng)用程序需要比當(dāng)前通過傳統(tǒng)存儲系統(tǒng)提供的更快的數(shù)據(jù)訪問速度。其次,隨著物聯(lián)網(wǎng)和邊緣計算的發(fā)展,數(shù)據(jù)處理的需求也會不斷增加。此外,5G網(wǎng)絡(luò)生成的海量數(shù)據(jù)將以指數(shù)級增長支持物聯(lián)網(wǎng)和邊緣計算。
盡管超大規(guī)模的數(shù)據(jù)中心都配備了所有閃存存儲陣列,但企業(yè)在滿足AI / ML或大數(shù)據(jù)應(yīng)用程序不斷增長的處理需求方面目前面臨著瓶頸。
這就是計算存儲的來源。
什么是計算存儲,我們?yōu)槭裁葱枰?/strong>
計算存儲是將一些處理移到存儲設(shè)備附近或與存儲設(shè)備一起移動的技術(shù)。它也被稱為就近計算。
通常,數(shù)據(jù)必須在CPU和存儲層之間移動,這會導(dǎo)致輸入查詢的響應(yīng)時間延遲。應(yīng)用計算存儲對于解決Al/ML或分析應(yīng)用程序的實時處理需求至關(guān)重要。我們可以在存儲中托管這樣的高性能計算應(yīng)用程序,從而減少資源消耗和成本,并為延遲敏感的應(yīng)用程序?qū)崿F(xiàn)更高的吞吐量。此外,計算存儲可以減少數(shù)據(jù)中心資源的功耗。
計算存儲之所以對數(shù)據(jù)中心有利,主要原因是存儲容量與連接到CPU的主機內(nèi)存數(shù)據(jù)帶寬(PCIe鏈路)不匹配。為了理解這種不匹配是如何在超大規(guī)模的數(shù)據(jù)中心中引起的,我們以Azure和Facebook在OpenCompute上提出的服務(wù)器架構(gòu)為例。
如上圖所示,這個服務(wù)器中,通過PCIe鏈接將64個SSD附加到一個CPU主機。每個SSD都有16個閃存通道用于數(shù)據(jù)訪問,使內(nèi)部閃存總帶寬達(dá)到8.5 GB / s。現(xiàn)在,可在64個這樣的SSD,使總存儲帶寬達(dá)到544 GB/s。PCIe鏈接的帶寬限制為16 GB / s,這是數(shù)據(jù)到主機CPU路徑的巨大不匹配。在這種情況下,可以應(yīng)用就近計算,以便將大多數(shù)關(guān)鍵的高性能應(yīng)用程序轉(zhuǎn)移到SSD。
SNIA標(biāo)準(zhǔn)與市場發(fā)展
全球存儲社區(qū)SNIA已經(jīng)成立了計算存儲技術(shù)工作組(TWG),用以促進(jìn)計算存儲設(shè)備的互操作性,并為系統(tǒng)部署、供應(yīng)、管理和安全定義接口標(biāo)準(zhǔn)。TWG包含的存儲產(chǎn)品公司,如Arm,Eideticom,Inspur,Lenovo,Micron Technology,NetApp,NGD Systems,Nyriad,Samsung Electronics ,ScaleFlux,SK Hynix,Western Digital Corporation和Xilinx。
無論是中小型企業(yè)數(shù)據(jù)中心還是超大型數(shù)據(jù)中心,SNIA定義了以下三個標(biāo)準(zhǔn)用于任何類型的服務(wù)器實現(xiàn)計算存儲。
計算存儲驅(qū)動器(CSD):提供持久數(shù)據(jù)存儲和計算服務(wù)的組件;
計算存儲處理器(CSP):在不提供持久存儲的情況下向存儲系統(tǒng)提供計算服務(wù)的組件;
計算存儲陣列(CSA):計算存儲驅(qū)動器,計算存儲處理器和存儲設(shè)備的集合,同時結(jié)合一組控制軟件。
目前研究人員正在開發(fā)POC,用于測試SNIA在高性能計算應(yīng)用程序上定義的標(biāo)準(zhǔn)。例如:用Catalina項目演示CSD。
此外,SNIA計算存儲TWG的一些核心成員目前已提供一些解決方案,包括NGD Systems 、Samsung、ScaleFlux、eidicom和Nyriad。
結(jié)論
考慮到通過高性能計算應(yīng)用程序?qū)^程數(shù)據(jù)需求的不斷增長,計算存儲標(biāo)準(zhǔn)將是一個很好的補充。這種存儲內(nèi)嵌入式處理將采用不同的形式和方法,和基于NVMe的體系結(jié)構(gòu)相結(jié)合,用于增強SSD服務(wù)器。