分布式存儲是一種數(shù)據(jù)存儲技術(shù),通過網(wǎng)絡(luò)使用企業(yè)中的每臺機器上的磁盤空間,并將這些分散的存儲資源構(gòu)成一個虛擬的存儲設(shè)備,數(shù)據(jù)分散的存儲在企業(yè)的各個角落。目前,分布式存儲分為兩種部署模式:分離式和超融合。本文將詳細為大家闡述下這兩種部署模式的概念、優(yōu)缺點及應(yīng)用案例。
數(shù)據(jù)中心內(nèi)部系統(tǒng)的核心要求是“穩(wěn)定可靠”,一是指系統(tǒng)在運行過程中有能力提供連續(xù)可靠的服務(wù),長時間無故障運行;二是指當故障發(fā)生之后,有能力快速定位,及時排查,故障范圍不蔓延。
分離式部署的方式,使得系統(tǒng)與云平臺系統(tǒng)相獨立,避免了計算和存儲爭搶CPU/內(nèi)存/網(wǎng)絡(luò)等物理資源,一旦某一方資源需求驟升導(dǎo)致的另一方資源枯竭,從而影響性能并在整個基礎(chǔ)架構(gòu)中產(chǎn)生的漣漪效應(yīng);和在超融合部署方式在集群規(guī)模較大后,網(wǎng)絡(luò)、硬盤、服務(wù)器發(fā)生故障的概率都會增大;以及數(shù)據(jù)重刪、壓縮、加密糾刪碼等功能、故障的自修復(fù)和數(shù)據(jù)功能實現(xiàn)都會消耗一定的系統(tǒng)資源,導(dǎo)致性能下降和抖動等問題。
分離式部署相比超融合方式的優(yōu)點:
如此觀點如果不是出自某廠家或者供應(yīng)商,也太偏頗了。我覺得簡單看兩種技術(shù)適合不同規(guī)模,中小規(guī)模(包括平臺規(guī)模,也包括人力資源規(guī)模)下超融合優(yōu)勢明顯,大規(guī)模分布式存儲優(yōu)勢更大。良好的設(shè)計,恰當?shù)钠胶獠攀顷P(guān)鍵,沒有一邊倒的絕對優(yōu)勢。
建議采用超融合式部署模式。
1、從成本上講,超融合式每個服務(wù)器既可以做計算資源,又可以做存儲資源,性價比最高。
2、從性能上講,分布式存系統(tǒng),一般只占用服務(wù)器資源的10%左右,還有90%的性能可以使用。而且目前X86服務(wù)器的CPU性能越來越高,如果閑置不用,比較可惜,利用率太低。
3、從管理上講,每臺X86物理設(shè)備都一樣,方便橫向擴展和管理,每增加一個節(jié)點,就同時增加了計算資源和存儲資源,有利于管理。目前,百度和阿里的云數(shù)據(jù)中心基本都是這么做的。
一、 超融合的概念
超融合(Hyper- Converged)目前還沒有一個嚴格的標準定義, 各個廠商和機構(gòu)都有各自的定義,這也說明超融合仍然處于快速發(fā)展演變當中,并未形成統(tǒng)一的標準規(guī)范。 超融合中“超”對應(yīng)英文“Hyper”,特指虛擬化,對應(yīng)虛擬化計算架構(gòu),如 KVM、XEN、Hyper-V 等。這一概念最早源自 Nutanix 等存儲 廠商將 Google/Facebook 等互聯(lián)網(wǎng)廠商采用的計算存儲融合架構(gòu)用于 虛擬化環(huán)境,為企業(yè)客戶提供一種基于 X86 硬件平臺的計算存儲融 合產(chǎn)品或解決方案。按照這個概念,數(shù)據(jù)庫一體機和大數(shù)據(jù)一體機都 不能為超融合的范疇,因為RAC/Hadoop等應(yīng)用并非運行在虛擬機 之上。此外,超融合架構(gòu)中最根本的變化是存儲,由原先的集中共享 式存儲(SAN/NAS)轉(zhuǎn)向軟件定義存儲,特別是分布式存儲。
超融合中的“融合”是指計算和存儲部署在同一個節(jié)點上,同時提供計算和存儲能力。融合一般可以分為物理融合和超融合兩種,超融 合是融合的一個子集。物理融合系統(tǒng)中,計算和存儲仍然可以是兩個 獨立的組件,沒有直接的相互依賴關(guān)系,共享主機的物理資源。超融 合與物理融合不同在于,重點以虛擬化計算為中心,計算和存儲緊密 相關(guān),存儲由控制器虛擬機(Controller VM,CVM)而非物理機來控 制并將分散的存儲資源形成統(tǒng)一的存儲池,用于創(chuàng)建用戶的應(yīng)用虛擬機。物理融合與超融合對比如所示。出于性能考慮,超融合架構(gòu)通常 都需要將主機物理設(shè)備透傳(Pass Through)給控制器虛機 CVM。
超融合架構(gòu)是基于標準通用的硬件
平臺,通過軟件定義實現(xiàn)計算、存儲、網(wǎng)絡(luò)融合,實現(xiàn)以虛擬化為中 心的軟件定義數(shù)據(jù)中心的技術(shù)架構(gòu)。要判斷一套系統(tǒng)是否采用超融合 架構(gòu),主要基于以下幾點:
(1) 完全軟件定義。獨立于硬件,采用商業(yè)通用標準硬件平臺(如 X86),完全采用軟件實現(xiàn)計算、存儲、網(wǎng)絡(luò)等功能。
(2) 完全虛擬化。以虛擬化計算為中心,計算、存儲、網(wǎng)絡(luò)均由 虛擬化引擎統(tǒng)一管理和調(diào)度,軟件定義存儲由虛擬機控制器 CVM 進 行管理。
(3) 完全分布式。橫向擴展的分布式系統(tǒng),計算、存儲、網(wǎng)絡(luò)按 需進行動態(tài)擴展,系統(tǒng)不存在單點故障,采用分布式存儲。
二、 超融合架構(gòu)發(fā)展情況和案例
未來 5 至 10 年新一代數(shù)據(jù)中心基礎(chǔ)架構(gòu)朝著軟件定義和超融合 方向發(fā)展,SAN/NAS 存儲逐漸被軟件定義的存儲所替代。在軟件定 義存儲(SDS)的推動下,超融合將成為數(shù)據(jù)中心基礎(chǔ)架構(gòu)的核心, 并且是軟件定義數(shù)據(jù)中心(SDDC)的未來技術(shù)發(fā)展趨勢。基于多種 復(fù)雜設(shè)備的數(shù)據(jù)中心最終會歸一化成以通用服務(wù)器加互連網(wǎng)絡(luò)的體 系架構(gòu)。在這些通用服務(wù)器上部署關(guān)鍵的軟件,通過虛擬化的方式實 現(xiàn)計算、存儲資源。然后再在這些虛擬化資源的基礎(chǔ)上部署應(yīng)用,完 成具體功能。
存儲、計算和網(wǎng)絡(luò)的深度融合是未來IT基礎(chǔ)設(shè)施發(fā)展的大趨勢, 超融合架構(gòu)因此成為企業(yè)級客戶的首選,加速業(yè)務(wù)系統(tǒng)從傳統(tǒng)架構(gòu)向 云計算架構(gòu)的轉(zhuǎn)型。IDC 的統(tǒng)計報告顯示,2016 年全球超融合市場規(guī) 模預(yù)計將增長 94%。另一家市場分析公司 Gartner 預(yù)計,2019 年全球 超融合市場的規(guī)模將超過 1000 億美元,有大約 30%安裝在企業(yè)數(shù)據(jù) 中心內(nèi)的存儲陣列都將是部署在軟件定義存儲或者基于 x86 硬件系 統(tǒng)的超融合集成系統(tǒng)架構(gòu)。
2016 年以來,中國超融合市場持續(xù)升溫,越來越多的超融合團隊 逐漸發(fā)展起來。根據(jù)市場研究和咨詢公司 Gartner 在 2016 年 11 月針 對中國超融合市場趨勢發(fā)布的報告,思科、HP、Dell、EMC、NetApp 等老牌服務(wù)器和存儲大廠紛紛將技術(shù)與產(chǎn)品戰(zhàn)略轉(zhuǎn)向超融合的路線 上來。報告指出,中國一躍成為全球超融合基礎(chǔ)架構(gòu)增速最快的市場,
國內(nèi)的 H3C、華為、Nutanix、聯(lián)想、SmartX、深信服等廠商迅速跟 進了國際主流超融合解決方案。
目前超融合架構(gòu)在國內(nèi)的主要應(yīng)用案例如下:
政府相關(guān)機構(gòu):中國檢查出版社,中國證監(jiān)會,中國互聯(lián)網(wǎng)信息 中心,中國大連市政府,青海水利,廣州地稅局數(shù)據(jù)庫虛擬化,國家衛(wèi)計委云數(shù)據(jù)中心,湖北省公安廳審計平臺,廈門公安局警務(wù)云平臺, 最高法司法統(tǒng)計管理平臺,深圳海關(guān)業(yè)務(wù)系統(tǒng),廣東海事局智慧海事 平臺,中國(西安)絲綢之路研究院,溫州醫(yī)科大學(xué)第一附屬醫(yī)院等。
金融行業(yè):招商銀行,中銀證券,南京證券,中信銀行等。 制造行業(yè):東風(fēng)本田,寶山鋼鐵,中鐵資源集團有限公司等。 IT 企業(yè):科陸電子,聯(lián)想集團,中國聯(lián)通沃云,中國電信等。 教育行業(yè):中國地質(zhì)大學(xué),中國科技大學(xué),南開大學(xué),北京郵電大學(xué),北京外交學(xué)院,陜西省行政學(xué)院等。
三、 超融合架構(gòu)的優(yōu)勢
超融合架構(gòu)迅速發(fā)展的原因是其具有顯著的優(yōu)勢,能夠帶來極高 的客戶價值。超融合架構(gòu)實現(xiàn)了計算、存儲、網(wǎng)絡(luò)等資源的統(tǒng)一管理 和調(diào)度,具有更彈性的橫向擴展能力,可以為數(shù)據(jù)中心帶來最優(yōu)的效 率、靈活性、規(guī)模、成本和數(shù)據(jù)保護。使用計算存儲超融合的一體化 平臺,替代了傳統(tǒng)的服務(wù)器加集中式存儲的架構(gòu),使得整個架構(gòu)更清 晰簡單,極大簡化了復(fù)雜 IT 系統(tǒng)的設(shè)計。
超融合架構(gòu)關(guān)鍵特征之一就是易于擴展,最小部署,按需擴容。 超融合廠商宣稱最大集群規(guī)模也差別很大,從數(shù)十到數(shù)千節(jié)點不等, 通常從 3 節(jié)點起配。超融合中計算能力、存儲性能和容量是同步擴容 的,無法滿足現(xiàn)實中單項能力的擴展,有些廠商還對擴容最小單元有 要求,擴展靈活性會受到限制。
集群達到一定規(guī)模后,系統(tǒng)架構(gòu)復(fù)雜性就會非線性增加,集群管 理變的更加困難,硬件故障和自修復(fù)發(fā)生的概率也會大大增加。因此, 超融合架構(gòu)一般不建議構(gòu)建大集群,如果業(yè)務(wù)允許盡量構(gòu)建多個適當 規(guī)模的較小集群,或者采用大集群中構(gòu)建故障域或子資源池的方式。
物理設(shè)備透傳給控制虛機,增加了部署配置管理的復(fù)雜性。計算和存 儲對硬件平臺的要求都不同,融合后也會一定程度上增加兼容性驗證的復(fù)雜性。超融合架構(gòu)下,管理、計算、存儲、高可用通常都需要配置獨立的虛擬網(wǎng)絡(luò),網(wǎng)絡(luò)配置也會更加復(fù)雜。同時,共享物理資源的 分配、隔離、調(diào)度,這也是額外增加的復(fù)雜性。如果出現(xiàn)故障,問題的跟蹤調(diào)試和分析診斷也變得更加困難。
超融合架構(gòu)下的存儲邏輯單元已經(jīng)擁有了很多過去高級存儲才具備的功能,但是在數(shù)據(jù)保護,復(fù)制,容災(zāi),高可用,這些關(guān)系到數(shù)據(jù)存儲層面的需求是超融合廠商不會花精力去關(guān)注也無法關(guān)注的,同時架構(gòu)本身的局限性帶來的用戶選擇面也比較窄,你無法把超大規(guī)模的計算中心全部塞滿超融合架構(gòu),用戶對于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的海量增長這種數(shù)據(jù)存儲的異構(gòu)需求不適合全部交給超融合來解決,很多用戶原本希望計算跟存儲分布擴容,或者計算跟存儲占比比較失衡的情況,比如計算資源需求很大,存儲資源需求很小,或者相反的情況全部交給超融合,這樣一股腦全部交給超融合的架構(gòu)設(shè)計是相當糟糕的。
(原標題:分離式or超融合,分布式存儲建設(shè)時的兩種部署模式)