采購(gòu)高端存儲(chǔ)應(yīng)該看什么?看性能?看穩(wěn)定性?分享一篇來(lái)自Dell EMC專家的工作手記,看看采購(gòu)高端存儲(chǔ)需要考慮哪些因素。
在我工作的過(guò)程中,經(jīng)常有客戶來(lái)尋求存儲(chǔ)采購(gòu)的建議,因?yàn)槲邑?fù)責(zé)高端存儲(chǔ)、非結(jié)構(gòu)化存儲(chǔ)的工作,所以我想根據(jù)我的經(jīng)驗(yàn)總結(jié),來(lái)具體談一談存儲(chǔ)的采購(gòu)。
關(guān)于存儲(chǔ)采購(gòu),我覺(jué)得客戶首先要對(duì)采購(gòu)的產(chǎn)品有清晰的定位和期望值。
比如擬采購(gòu)存儲(chǔ)產(chǎn)品是為了IT的關(guān)鍵業(yè)務(wù)系統(tǒng),還是非關(guān)鍵業(yè)務(wù)系統(tǒng);對(duì)于要準(zhǔn)備采購(gòu)的存儲(chǔ)產(chǎn)品到底有些什么核心要求。因?yàn)槊つ孔非笾笜?biāo),就和買(mǎi)一臺(tái)山寨手機(jī)一樣,指標(biāo)很豐滿,現(xiàn)實(shí)很骨感。如果是應(yīng)用在IT關(guān)鍵業(yè)務(wù)系統(tǒng),它關(guān)系到企業(yè)的正常運(yùn)轉(zhuǎn),是屬于企業(yè)的核心生產(chǎn)力,這時(shí)候需要考慮的存儲(chǔ)產(chǎn)品我認(rèn)為有三個(gè)要點(diǎn):
第一,可靠性,這是毫無(wú)疑問(wèn)的。因?yàn)槿绻l(fā)生了停機(jī),無(wú)論計(jì)劃外,還是計(jì)劃內(nèi),公司的方方面面都會(huì)受到不同程度的影響。界定一個(gè)存儲(chǔ)是否屬于關(guān)鍵業(yè)務(wù)系統(tǒng),核心在于識(shí)別其停機(jī)時(shí)間是否嚴(yán)重影響生產(chǎn)工作,造成的影響是否范圍廣、影響大、損失重。
我曾經(jīng)經(jīng)歷過(guò)幾個(gè)客戶,他們要求IT的關(guān)鍵業(yè)務(wù)系統(tǒng)哪怕是計(jì)劃內(nèi)停機(jī),也只允許有限的幾個(gè)小時(shí)。因?yàn)槊恳环昼妼?duì)他們來(lái)說(shuō)都是很大的經(jīng)濟(jì)效益,所以可靠性是第一重要的。
第二,IT關(guān)鍵業(yè)務(wù)系統(tǒng)需要穩(wěn)定可預(yù)期的性能。這里的性能不是單純只看一些指標(biāo),比如有很高的IOPS、很寬的帶寬,而是說(shuō)性能在滿足業(yè)務(wù)的需要后,不能忽高忽低,要保持穩(wěn)定可預(yù)期的響應(yīng)。
在真實(shí)的混合工作負(fù)載里,我們會(huì)面對(duì)各種狀況,有的應(yīng)用讀多寫(xiě)少,有的寫(xiě)多讀少,而且讀寫(xiě)的數(shù)據(jù)塊大小都是不同的,負(fù)載發(fā)生的時(shí)間也變化不一。所以我們就需要穩(wěn)定可預(yù)期的性能,這就好比以不變應(yīng)萬(wàn)變。否則的話就像我們使用的手機(jī)、電腦一樣,運(yùn)行了一段時(shí)間,就會(huì)覺(jué)得系統(tǒng)越來(lái)越慢。在最關(guān)鍵的時(shí)候系統(tǒng)不給力,等半天,這是很痛苦、很要命的,直接影響到了我們工作的效率。
第三,業(yè)務(wù)靈活性。作為IT關(guān)鍵業(yè)務(wù)系統(tǒng),還要從全局視角來(lái)把握,保存著關(guān)鍵業(yè)務(wù)系統(tǒng)數(shù)據(jù)的存儲(chǔ)往往不僅僅只是服務(wù)于當(dāng)前的應(yīng)用,它還需要服務(wù)于其他的業(yè)務(wù)需求。因此存儲(chǔ)的靈活性要貫穿整個(gè)業(yè)務(wù)流程?,F(xiàn)在這個(gè)IT環(huán)境里,我們不能單純要求存儲(chǔ)設(shè)備能夠保存數(shù)據(jù)、服務(wù)單一應(yīng)用就行了,而是要通盤(pán)考慮其他應(yīng)用對(duì)于這些數(shù)據(jù)的訪問(wèn)要求。這些訪問(wèn)要求,包括傳統(tǒng)數(shù)據(jù)存儲(chǔ)領(lǐng)域里的備份、容災(zāi),還包括許多新的增值的應(yīng)用。在機(jī)械磁盤(pán)的時(shí)代,這種需求受限于機(jī)械磁盤(pán)的性能,不那么突出;但是在全閃的時(shí)代,就會(huì)擺到了桌面,成為我們CTO要考慮的問(wèn)題。
如果是非關(guān)鍵業(yè)務(wù)系統(tǒng),對(duì)存儲(chǔ)的要求可以不那么苛刻,但對(duì)IT關(guān)鍵業(yè)務(wù)系統(tǒng),可靠性、性能、業(yè)務(wù)靈活性這三點(diǎn)需要牢牢把控。否則的話,會(huì)給我們采購(gòu)人員、給我們IT管理運(yùn)維人員帶來(lái)很大的麻煩,并且這種麻煩不僅僅是給自己帶來(lái)很多運(yùn)維的麻煩,還會(huì)影響到公司的整個(gè)經(jīng)營(yíng)工作。
所以我們?cè)谫?gòu)買(mǎi)存儲(chǔ)設(shè)備的時(shí)候,首先要對(duì)業(yè)務(wù)系統(tǒng)有一個(gè)合理、準(zhǔn)確的定位和期望值,這樣的話才能采購(gòu)出比較合適的存儲(chǔ)產(chǎn)品。
有了清晰的期望值,下一步就要對(duì)各個(gè)廠商的產(chǎn)品進(jìn)行比較,包括性能、體系架構(gòu)等。
還是針對(duì)IT關(guān)鍵業(yè)務(wù)系統(tǒng)來(lái)談。我們知道在建筑領(lǐng)域有一個(gè)很關(guān)鍵的前期步驟,這個(gè)步驟稱之為“三通一平”,開(kāi)始工作前,我要把水通了、電通了、路通了,并且我要把整個(gè)施工環(huán)境平整,最后才能使得房屋的建設(shè)實(shí)現(xiàn)高效。
對(duì)IT關(guān)鍵業(yè)務(wù)系統(tǒng)也是,我們需要什么呢?要做好高端存儲(chǔ)“三通兩平”的準(zhǔn)備。
三通,簡(jiǎn)單說(shuō),就是要端到端的路由通達(dá)。就像以前的廣告詞:通則不痛。三通包括大三通和小三通。
首先是“大三通”,也就是前中后三層面要自由通達(dá),前臺(tái)是指服務(wù)器和存儲(chǔ)的連接,中臺(tái)是存儲(chǔ)前端端口到后端端口之間,后臺(tái)是后端端口和存儲(chǔ)磁盤(pán)之間。
前臺(tái)的通達(dá)多年前高端存儲(chǔ)就做得不錯(cuò)了,多路徑軟件支持各種功能,還包括負(fù)載均衡等。雖然前臺(tái)還有些許不足,但不是主要問(wèn)題,而且今明年應(yīng)該能夠解決。中臺(tái)的通達(dá)因?yàn)榘诖鎯?chǔ)內(nèi)部,往往大伙不太清楚,比如在高端存儲(chǔ)里,多控制器多CPU中的各個(gè)核,需要能夠根據(jù)負(fù)載自由地調(diào)度調(diào)配,就像馬路上一些潮汐路段,能夠根據(jù)車(chē)流量動(dòng)態(tài)地進(jìn)行調(diào)整,這樣才能夠保證處理能力不會(huì)成為瓶頸。而后臺(tái)呢,后端端口和磁盤(pán)之間的協(xié)議也要做到?jīng)]有瓶頸,不會(huì)因?yàn)橐恍┲俨脵C(jī)制,導(dǎo)致數(shù)據(jù)的傳輸交換效率下降。
所以大三通就是前中后端要有端到端的連貫性,這種連貫性不能卡在某一個(gè)點(diǎn)上,否則就會(huì)導(dǎo)致我們被卡著脖子一樣,路是不通暢的,性能永遠(yuǎn)得不到很大的提升。
另外還有“小三通”,小三通是每一個(gè)模塊內(nèi)部也要充分考慮到訪問(wèn)組合性是否自由通達(dá)。所以“三通”就是體系架構(gòu)和架構(gòu)里的每一個(gè)部件里面要實(shí)現(xiàn)通暢。
兩平是什么呢?第一個(gè)“平”是可靠性的平穩(wěn)。可靠性的平穩(wěn)是什么呢?舉個(gè)例子,可靠性平穩(wěn)側(cè)重于系統(tǒng)不管在什么環(huán)境下,都能夠很穩(wěn)定地運(yùn)行;不管哪一個(gè)部件發(fā)生了故障,也能夠支撐業(yè)務(wù)的運(yùn)行,或者迅速地恢復(fù)。比如我們的一個(gè)高端存儲(chǔ)的用戶,有一次機(jī)房空調(diào)壞了,不少設(shè)備都罷工了,可是我們的高端設(shè)備還繼續(xù)工作著,保證了他們的關(guān)鍵業(yè)務(wù)系統(tǒng)不罷工。這樣的例子我們高端存儲(chǔ)有許多。
第二個(gè)“平”,是上面提到的性能的平穩(wěn)。存儲(chǔ)性能滿足我們要求的IOPS、帶寬和響應(yīng)時(shí)間,這是基本要求。但是,我們不能只要求在測(cè)試時(shí)達(dá)到這種指標(biāo),那其實(shí)是某種理想狀態(tài)。在真實(shí)的混合負(fù)載環(huán)境下,在極端的瞬間負(fù)載下,在運(yùn)行了若干時(shí)間后,我們的存儲(chǔ)是否還能保證同樣的性能呢?是否性能一直是可預(yù)期的呢?
現(xiàn)在根據(jù)這“三通兩平”,在為關(guān)鍵業(yè)務(wù)采購(gòu)存儲(chǔ)的時(shí)候,我們應(yīng)該首要考慮這五個(gè)要點(diǎn)。
第一,多控一體的架構(gòu)。我們知道中端存儲(chǔ)跟高端存儲(chǔ)最大的區(qū)別就是中端存儲(chǔ)通常只是一個(gè)雙控系統(tǒng)。雖然有的這兩控制器都是Active的,但是對(duì)于數(shù)據(jù)的訪問(wèn)來(lái)說(shuō),其實(shí)是主備的架構(gòu)。它不是真正Active-Active一體的架構(gòu)。
而高端存儲(chǔ),從體系架構(gòu)來(lái)說(shuō),不僅需要多個(gè)控制器,而且這些控制器需要是一體的。也就是無(wú)論訪問(wèn)哪一個(gè)控制器,都能得到同樣的訪問(wèn)。這是界定高端存儲(chǔ)和中端存儲(chǔ)最大的區(qū)別。也是打通服務(wù)器和存儲(chǔ)之間的最主要的環(huán)節(jié)。并且不僅僅是包括多控一體,還包括前端的多路徑軟件,能不能夠做負(fù)載均衡等等,這都是打通前端連通性很關(guān)鍵的要素。
第二,端到端的NVMe支持。今年5月,Dell EMC在戴爾科技集團(tuán)全球大會(huì)推出了端到端NVMe支持的PowerMax,這是非常關(guān)鍵的技術(shù)提升。因?yàn)檫@是高端存儲(chǔ)性能提升的最后一公里。我們知道高端存儲(chǔ)存儲(chǔ)有支持負(fù)載均衡的多路徑軟件、多控一體的體系架構(gòu)、動(dòng)態(tài)調(diào)配的內(nèi)部控制核資源和內(nèi)存資源,但是后端其實(shí)成為了訪問(wèn)性能的瓶頸。
于是高端存儲(chǔ)率先引入閃存來(lái)替代機(jī)械硬盤(pán),以及數(shù)據(jù)分層技術(shù)來(lái)提高性能。但是這還不夠,隨著應(yīng)用于關(guān)鍵業(yè)務(wù)系統(tǒng)的存儲(chǔ)設(shè)備越來(lái)越全閃化,后端的存儲(chǔ)訪問(wèn)協(xié)議對(duì)性能的制約變得突出。采用了NVMe,前端到后端整個(gè)鏈路變成了多對(duì)多的連接,從而實(shí)現(xiàn)數(shù)據(jù)從服務(wù)器到存儲(chǔ)介質(zhì)這一條路徑的徹底打通。你可以通過(guò)任何一個(gè)路徑,通達(dá)到任何一個(gè)地方,性能會(huì)得到最大的實(shí)現(xiàn)和保證。
第三,全閃存介質(zhì)。路寬了,還能不能繼續(xù)采用傳統(tǒng)的HDD的介質(zhì)使用在IT關(guān)鍵業(yè)務(wù)系統(tǒng)上?這是不可以的。我們?cè)瓉?lái)使用機(jī)械硬盤(pán),為了獲得足夠的性能,需要追求最大的磁盤(pán)數(shù)的支持,也就是需要很多盤(pán)并行訪問(wèn)才能夠得到一個(gè)足夠大的IOPS數(shù)。但是現(xiàn)在不一樣了,閃存的訪問(wèn)特性沒(méi)有機(jī)械硬盤(pán)那么多限制。在高端存儲(chǔ)里,今后將會(huì)是全閃存介質(zhì),這個(gè)無(wú)論是在全球還是在國(guó)內(nèi)的發(fā)展趨勢(shì)上都可以看到。而且全閃存價(jià)格在單位成本上來(lái)說(shuō),再配合一些先進(jìn)的技術(shù),跟機(jī)械硬盤(pán)有足夠競(jìng)爭(zhēng)的價(jià)值了。
采用全閃介質(zhì)以后,存儲(chǔ)的讀寫(xiě)方式就有了改變的必要。一方面需要提高閃存的訪問(wèn)壽命,另一方面需要提高閃存的利用率。要達(dá)到這樣的目標(biāo),就要針對(duì)全閃的讀寫(xiě)訪問(wèn)特點(diǎn),通過(guò)一些技術(shù)來(lái)進(jìn)一步改進(jìn)其讀寫(xiě)模式,提高它的訪問(wèn)性能。所以在這里面就涉及到第四個(gè)點(diǎn),就是數(shù)據(jù)消重技術(shù)。
為什么需要數(shù)據(jù)消重?因?yàn)閿?shù)據(jù)消重技術(shù)可以減少閃存空間的消耗,從而降低數(shù)據(jù)存儲(chǔ)的成本;減少閃存寫(xiě)的次數(shù),從而延長(zhǎng)閃存的壽命;可以進(jìn)一步發(fā)展數(shù)據(jù)的多拷貝應(yīng)用,從而增加單位數(shù)據(jù)的利用價(jià)值等等。數(shù)據(jù)消重技術(shù)里主要包括數(shù)據(jù)重刪技術(shù),當(dāng)然還有數(shù)據(jù)壓縮技術(shù)等。有了數(shù)據(jù)消重的考慮,逐漸地我們發(fā)現(xiàn)這不是單純的消重的問(wèn)題,而是一個(gè)整體系統(tǒng)設(shè)計(jì)的問(wèn)題,結(jié)合了數(shù)據(jù)消重的技術(shù)后,再考慮性能、多拷貝的應(yīng)用等等多方面的要求,就發(fā)現(xiàn)高端存儲(chǔ)里的讀寫(xiě)模式發(fā)生了很大的改變。所以,在高端存儲(chǔ)的發(fā)展中,數(shù)據(jù)消重是不可或缺的一個(gè)特性。
第五個(gè)要點(diǎn)是人工智能。全閃的數(shù)據(jù)訪問(wèn)和機(jī)械硬盤(pán)的訪問(wèn)是截然不同的,很貼近內(nèi)存訪問(wèn)的方式。因此需要人工智能的一些機(jī)器學(xué)習(xí)的算法,來(lái)進(jìn)行數(shù)據(jù)的自動(dòng)放置,從而獲得最佳的性能,以及最經(jīng)濟(jì)的存儲(chǔ)組合。
目前的SAS NAND閃盤(pán)還不是最快的閃盤(pán),明年將推向市場(chǎng)的最新技術(shù)稱為存儲(chǔ)級(jí)內(nèi)存(SCM)。屆時(shí)的全閃存儲(chǔ)仍然是分層的。因此利用機(jī)器學(xué)習(xí)來(lái)進(jìn)行自動(dòng)的數(shù)據(jù)放置,從而實(shí)現(xiàn)性能進(jìn)一步的釋放。這也是很關(guān)鍵的。
所以在IT關(guān)鍵業(yè)務(wù)系統(tǒng)里,首先我們要買(mǎi)高端存儲(chǔ),因?yàn)槲覀円煽啃浴⒁€(wěn)定可預(yù)期的性能、要考慮到業(yè)務(wù)的靈活性。另外還要考慮三通兩平,三通兩平里除了我們已經(jīng)熟知的多控一體的技術(shù)以外,現(xiàn)在我們還要考慮NVMe的支持、全閃存、數(shù)據(jù)消重和人工智能。
因?yàn)樯厦嫣岬降母叨舜鎯?chǔ)發(fā)展的綜合技術(shù)要素,尤其是數(shù)據(jù)消重特性,現(xiàn)在容量的趨勢(shì)是全閃存儲(chǔ)設(shè)備追求的是有效容量(Effective Capacity),而不是可用容量(Usable Capacity),更不是物理容量(Raw Capacity)。采用有效容量,考慮到數(shù)據(jù)消重以后,從總體上看,會(huì)獲得更經(jīng)濟(jì)、更實(shí)惠的存儲(chǔ)。
為什么在機(jī)械硬盤(pán)時(shí)代,我們強(qiáng)調(diào)可用容量,而在全閃時(shí)代,我們需要強(qiáng)調(diào)有效容量?因?yàn)樵谑褂脵C(jī)械硬盤(pán)的時(shí)候,數(shù)據(jù)保留多份,不僅僅是出于多數(shù)據(jù)拷貝的增值應(yīng)用的考慮,更是因?yàn)椴荒馨言L問(wèn)的壓力放在同一份數(shù)據(jù)上。如果數(shù)據(jù)只是一份的話,就會(huì)把訪問(wèn)壓力全部集中在這個(gè)機(jī)械硬盤(pán)上。機(jī)械硬盤(pán)的IO是有限的,就會(huì)導(dǎo)致性能出問(wèn)題。因此要保留多份物理拷貝,就需要存儲(chǔ)支持越多的盤(pán)越好。這樣的環(huán)境需要強(qiáng)調(diào)的不是有效容量,而是可用容量。
但全閃不一樣,全閃首先是介質(zhì)性能提升了。其次是除了介質(zhì)性能提升,前端控制器的Cache也擴(kuò)大了,可以保留更多的在訪問(wèn)數(shù)據(jù)在內(nèi)存里。因此數(shù)據(jù)的訪問(wèn)壓力不會(huì)受限于機(jī)械硬盤(pán)有限的性能了。于是高端存儲(chǔ)就不追求很多的盤(pán)數(shù),反而追求到底怎么來(lái)提高數(shù)據(jù)被訪問(wèn)的效率。比如PowerMax 2000最大插盤(pán)數(shù)有多少?沒(méi)有多少的,不到100片,但是有效容量是多少呢?1PBe,遠(yuǎn)可以滿足許多用戶的容量需求。這跟有的中端上千片的插盤(pán)數(shù)比起來(lái),是完全不一樣的。頗有返樸歸真的感覺(jué)。
總體上,關(guān)于存儲(chǔ)采購(gòu)我認(rèn)為要把握一條準(zhǔn)則,就是要改變我們過(guò)去采購(gòu)存儲(chǔ)產(chǎn)品的思路,更加回歸到IT的關(guān)鍵業(yè)務(wù)系統(tǒng)所追求的本質(zhì)上面來(lái)。