“數(shù)字化轉(zhuǎn)型時(shí)代有一個(gè)非常明顯的特征就是'數(shù)據(jù)爆炸'。”IDC中國(guó)企業(yè)研究部助理副總裁周震剛告訴記者,根據(jù)IDC的研究報(bào)告,預(yù)計(jì)從2023年起,企業(yè)、機(jī)器、工業(yè)、消費(fèi)、科學(xué)等領(lǐng)域每年產(chǎn)生的數(shù)據(jù)量將高達(dá)103ZB,而大量的數(shù)據(jù)讓數(shù)據(jù)管理的難度大幅度增加,這時(shí)如何存儲(chǔ)數(shù)據(jù)就成了一個(gè)關(guān)鍵問(wèn)題。
IDC中國(guó)企業(yè)研究部助理副總裁 周震剛
“存儲(chǔ)系統(tǒng)的轉(zhuǎn)型是管理數(shù)據(jù)爆炸、支持?jǐn)?shù)字化轉(zhuǎn)型的有利工具。”周震剛強(qiáng)調(diào)。
ZB時(shí)代三大存儲(chǔ)趨勢(shì)
從現(xiàn)狀來(lái)看,ZB時(shí)代的存儲(chǔ)呈現(xiàn)出了三個(gè)重要的趨勢(shì):
首先多云間數(shù)據(jù)流動(dòng),要滿足多云環(huán)境,因?yàn)閿?shù)據(jù)中心將轉(zhuǎn)型為基于多云的全I(xiàn)T能力,數(shù)據(jù)存儲(chǔ)正在從終端向云遷移;多云環(huán)境中的數(shù)據(jù)流動(dòng)將成為常態(tài);而且數(shù)據(jù)在多云環(huán)境中的完整性和可靠性變得尤為重要。
第二是分層存儲(chǔ),不同的存儲(chǔ)介質(zhì)要面向不同的應(yīng)用場(chǎng)景;根據(jù)數(shù)據(jù)的冷熱度不同要進(jìn)行分層存儲(chǔ);還要考慮到應(yīng)用和工作負(fù)載的特性,像核心計(jì)費(fèi)、高頻交易這樣需要快捷響應(yīng)的數(shù)據(jù)適合使用全閃存,而像石油勘探、視頻監(jiān)控、媒體娛樂(lè)這類的數(shù)據(jù)適合用大容量硬盤。
第三是智能化,在成本、管理和安全方面應(yīng)用人工智能可以:通過(guò)消除存儲(chǔ)管理員的角色降低存儲(chǔ)管理成本;隨著業(yè)務(wù)增長(zhǎng)而自動(dòng)規(guī)劃存儲(chǔ)容量,實(shí)現(xiàn)容量靈活性,減少前期投入過(guò)剩的容量;通過(guò)自動(dòng)化管理復(fù)雜的文件結(jié)構(gòu),降低復(fù)雜性;自動(dòng)化管理各物理節(jié)點(diǎn)數(shù)據(jù),支持多云;全方位自動(dòng)感知存儲(chǔ)變化;自動(dòng)化故障分析功能,并提出系統(tǒng)趨勢(shì)預(yù)測(cè);實(shí)現(xiàn)主動(dòng)防御。
分區(qū)存儲(chǔ)成“未來(lái)之光”
對(duì)此,西部數(shù)據(jù)公司產(chǎn)品市場(chǎng)部副總裁朱海翔表示,大數(shù)據(jù)已經(jīng)讓存儲(chǔ)架構(gòu)悄然發(fā)生了變化,通用性存儲(chǔ)必須分配未使用的容量和/或DRAM來(lái)管理所有的工作負(fù)載。傳統(tǒng)數(shù)據(jù)中心面臨著工作負(fù)載差異化導(dǎo)致延遲、容量和成本考量難以兼顧的困境。
西部數(shù)據(jù)公司產(chǎn)品市場(chǎng)部副總裁 朱海翔
“所以,架構(gòu)重構(gòu),勢(shì)在必行。”朱海翔指出,要針對(duì)應(yīng)用,優(yōu)化負(fù)載,實(shí)現(xiàn)高效存儲(chǔ),結(jié)合數(shù)據(jù)流串行化應(yīng)用實(shí)踐,完美呈現(xiàn)設(shè)定的存儲(chǔ)效率和效能。“而分區(qū)存儲(chǔ)就是未來(lái)之光。”
為了設(shè)計(jì)出高效的存儲(chǔ)層,幫助用戶在ZB級(jí)容量的存儲(chǔ)時(shí)代保持具有競(jìng)爭(zhēng)力的總體擁有成本,實(shí)現(xiàn)更大的規(guī)模效益,西部數(shù)據(jù)公司于近日推出了分區(qū)存儲(chǔ)技術(shù)。
朱海翔表示:“由于越來(lái)越多的數(shù)據(jù)具有順序?qū)懭氲奶匦?,例如視頻、物聯(lián)網(wǎng)/邊緣數(shù)據(jù)、監(jiān)控,以及可以分組或'分區(qū)化'成更大數(shù)據(jù)塊(如大型人工智能/機(jī)器學(xué)習(xí)數(shù)據(jù)集)的數(shù)據(jù),這使我們可以加速推廣分區(qū)存儲(chǔ)設(shè)備,對(duì)工作負(fù)載進(jìn)行合理優(yōu)化,從而提高性能和效率,更早的實(shí)現(xiàn)總體擁有成本的降低。”
SMR和ZNS為分區(qū)存儲(chǔ)奠定基礎(chǔ)
分區(qū)存儲(chǔ)架構(gòu)賦能應(yīng)用層、主機(jī)和存儲(chǔ)互相協(xié)調(diào)數(shù)據(jù)存放位置,以充分利用在SMR HDD上可以實(shí)現(xiàn)的最大存儲(chǔ)容量,以及在融入新興分區(qū)命名空間 (ZNS) 標(biāo)準(zhǔn)的NVMe SSD上可以實(shí)現(xiàn)的更好的耐久性和可預(yù)測(cè)的低延遲和QoS(服務(wù)質(zhì)量)性能。
ZNS是NVMe標(biāo)準(zhǔn)規(guī)劃內(nèi)的新特性,也是對(duì)SMR技術(shù)的補(bǔ)充,它讓開(kāi)發(fā)人員在共同的軟件堆棧下可以不分存儲(chǔ)介質(zhì)類型有效的調(diào)用SMR和ZNS。預(yù)計(jì)到2023年,西部數(shù)據(jù)公司將在SMR上提供50%的HDD 容量,而客戶可以利用其SMR應(yīng)用開(kāi)發(fā)成果涵蓋高容量ZNS SSD。SMR和ZNS也將通過(guò)提供智能化應(yīng)用架構(gòu)成為當(dāng)前和未來(lái)ZB級(jí)數(shù)據(jù)時(shí)代的關(guān)鍵基石。
如今,越來(lái)越多的云服務(wù)提供商正在投入資源管理高容量SMR HDD的主機(jī)軟件,以便協(xié)助大體量客戶實(shí)現(xiàn)更好的總體擁有成本。SMR和ZNS正在從根本上重塑云和企業(yè)數(shù)據(jù)中心,以確保在未來(lái)能夠長(zhǎng)期節(jié)約總體擁有成本。
西部數(shù)據(jù)還宣布針對(duì)早期分區(qū)存儲(chǔ)工作而推出ZNS開(kāi)發(fā)SSD。與傳統(tǒng)的NVMe SSD相比,ZNS NVMe SSD具有多種優(yōu)勢(shì)。這些ZNS SSD符合NVM Express公司定義并管理的ZNS功能集規(guī)范,旨在減少寫(xiě)放大,增加可用容量,并提供更高的吞吐量和更低的時(shí)延。ZNS SSD通過(guò)將“區(qū)域”與SSD的內(nèi)部物理屬性進(jìn)行匹配而實(shí)現(xiàn)這些改進(jìn),有效的減少數(shù)據(jù)存放低效能的現(xiàn)象。
此外,西部數(shù)據(jù)特別推出了全新的開(kāi)發(fā)者網(wǎng)站ZonedStorage.io。該網(wǎng)站與開(kāi)源社區(qū)、客戶和行業(yè)參與者通力合作,目的是在開(kāi)發(fā)人員社區(qū)內(nèi)啟動(dòng)應(yīng)用開(kāi)發(fā)計(jì)劃,幫助數(shù)據(jù)中心基礎(chǔ)架構(gòu)工程師更好的利用分區(qū)存儲(chǔ)技術(shù)。該網(wǎng)站提供了軟件開(kāi)發(fā)庫(kù)、工具、ZNS信息、SMR資源和參考架構(gòu)等,為管理定制化ZNS SSD和容量?jī)?yōu)化的SMR HDD提供了統(tǒng)一的框架。通過(guò)這一舉措,開(kāi)發(fā)人員將對(duì)社區(qū)、行業(yè)參與者及支持者構(gòu)成的蓬勃發(fā)展生態(tài)系統(tǒng)充滿信心,其中生態(tài)系統(tǒng)的成員已經(jīng)包括ATTO Technology、Broadcom、Mellanox和SUSE。
西部數(shù)據(jù)公司高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理Steven Craig指出:分區(qū)存儲(chǔ)架構(gòu)是一項(xiàng)開(kāi)源計(jì)劃,它利用關(guān)鍵存儲(chǔ)技術(shù)ZNS和SMR的標(biāo)準(zhǔn)化,為未來(lái)的數(shù)據(jù)中心提供更高效的ZB規(guī)模架構(gòu)。 “它使我們的客戶能夠利用西部數(shù)據(jù) Ultrastar SMR HDD和新款Ultrastar ZNS NVMe SSD的區(qū)域塊管理,利用專用存儲(chǔ)設(shè)備構(gòu)建未來(lái)的云數(shù)據(jù)中心,為現(xiàn)在和未來(lái)的總擁有成本和更高的容量擴(kuò)展將帶來(lái)好處。”
西部數(shù)據(jù)公司高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理 Steven Craig
據(jù)透露,目前西部數(shù)據(jù)Ultrastar DC HC620 SMR15TB硬盤已經(jīng)批量出貨,20TB SMR HDD硬盤預(yù)計(jì)將于2020年出貨。
20TB SMR HDD硬盤