高性能計算(HPC)、人工智能(AI),大數(shù)據(jù)(BigData)是當今數(shù)據(jù)密集的企業(yè)所面臨的重大機遇和挑戰(zhàn),更多“數(shù)據(jù)大”企業(yè)開始關(guān)注IT基礎設施和架構(gòu)的革新。作為數(shù)據(jù)的最終歸宿和一切分析計算的基礎,存儲設備的穩(wěn)定性,擴展性,和性能表現(xiàn)成為了IT系統(tǒng)優(yōu)化工作的重中之重。
然而,大多數(shù)企業(yè)可能不甚了解,存儲系統(tǒng)的高性能,其實是相對的,有高帶寬的、有高IOPs的、有元數(shù)據(jù)性能表現(xiàn)出色的。不可能在單個系統(tǒng)中各個維度都追求極致性能表現(xiàn)。
存儲性能常見優(yōu)化方式
通常而言,帶寬(吞吐量)和每秒I/O操作數(shù)(IOPS)是衡量存儲性能的兩大指標。
在實際應用中
※希望得到更“高”的IOPS,就需要盡可能【減少】每次數(shù)據(jù)存取請求涉及到的盤數(shù);
※希望吞吐更“大”(高帶寬),就需要聚合【更多】個盤的帶寬。
顯然,帶寬與IOPS兩項指標像不可兼得的魚和熊掌,不可能在一套存儲系統(tǒng)中都得到極致優(yōu)化。
通用存儲本來是個傻盒子
如果沒有合適的方法和人工干預,存儲只能根據(jù)當前的IO特性,以確定的緩存策略和數(shù)據(jù)一致性策略,甚至數(shù)據(jù)的擺放位置來為應用提供服務,無法【根據(jù)應用的特點】實現(xiàn)對存儲特性的精確動態(tài)調(diào)優(yōu),但高性能計算、AI訓練和大數(shù)據(jù)分析對應的數(shù)據(jù)訪問模式是不同的。
需要存儲在
不同時段:When
不同配置區(qū)域:Where
為應用的不同計算階段:What
提供盡可能高的存取效率和并行能力
所以如何讓【存儲感知應用】才是設計存儲系統(tǒng)時需要重點關(guān)注的
存儲性能如何優(yōu)化更合理
通過大量客戶案例以及對用戶數(shù)據(jù)處理模式的研究表明,從計算任務調(diào)度入手,控制計算任務的調(diào)度執(zhí)行,讓計算在開始執(zhí)行之前給存儲發(fā)送【提示性信息】,協(xié)助存儲系統(tǒng)預判此次任務的IO模式,以做出策略選擇和定向優(yōu)化,才是王道。
存儲系統(tǒng)如果具備了【應用感知】和【存算協(xié)同】,則可使存儲系統(tǒng)變得可控、可視、可變,為存儲賦予了【自我調(diào)節(jié)】的能力,主動適配上層業(yè)務場景。
“存”與“算”如何協(xié)同?
面向應用針對性的測試,能體現(xiàn)存儲在特定業(yè)務模式下的表現(xiàn),這里需要引出另一個理念:【計算和存儲的協(xié)同設計】。其目的是為了讓存儲系統(tǒng)更適應數(shù)據(jù)計算應用的模式,發(fā)揮更好的數(shù)據(jù)存取效能。
在存儲方面,針對不同的應用場景、不同的IO模型、不同的空間密度和性能需求,極道設計了兩個系列的分布式存儲系統(tǒng):極道的ALAMO和ANNA。
ALAMO:分布式文件存儲系統(tǒng)
ALAMO可聚合所有多個存儲單元的容量、處理能力和帶寬資源,便于大量客戶端的同時數(shù)據(jù)訪問。ALAMO通過靈活的設計結(jié)構(gòu),既可以全部對稱部署,又可以在超大規(guī)模的情況下非對稱部署,實現(xiàn)大數(shù)據(jù)容量和小的元數(shù)據(jù)聚合代價。滿足海量復雜數(shù)據(jù)對大容量、高寬帶和頻繁元數(shù)據(jù)操作的要求并且可輕松擴展至上百節(jié)點,達到PB甚至EB級容量。ALAMO靈活的數(shù)據(jù)冗余策略,以及高可用架構(gòu)完美的滿足了客戶對數(shù)據(jù)高可靠、高可用性的需求。
ANNA:非結(jié)構(gòu)化(文件/對象)分布式存儲系統(tǒng)
ANNA面向高IOPS和元數(shù)據(jù)密集應用。ANNA的性能隨節(jié)點數(shù)量增加線性增加,并且高度智能化,可根據(jù)數(shù)據(jù)熱度提供智能存儲分層策略,利用負載均衡策略消除性能瓶頸。
同時ANNA還提供融合應用容器的支持,利用存儲節(jié)點的剩余計算能力直接運行應用程序,極大減輕網(wǎng)絡負荷。
在計算方面,針對多樣化的數(shù)據(jù)結(jié)構(gòu)、多樣性計算框架,極道設計了ABC融合計算系統(tǒng)
ABC融合計算系統(tǒng)
極道的ABC融合計算系統(tǒng)(A代表AI,B代表大數(shù)據(jù)Big Data,C代表Computing即傳統(tǒng)的高性能/高通量計算和新興的圖計算。)是一款可以動態(tài)地構(gòu)建計算框架的分布式計算系統(tǒng)。并且以高度智能化的計算框架動態(tài)構(gòu)建和系統(tǒng)資源統(tǒng)一調(diào)度,不僅使多調(diào)度器之間相互合作,突破了計算集群規(guī)模瓶頸;智能的執(zhí)行引擎還可以幫助用戶按照自身業(yè)務需要快速構(gòu)建可視化、可編輯的數(shù)據(jù)分析流程,獲得極致的數(shù)據(jù)并行處理和高效的分析計算,實現(xiàn)業(yè)務的敏捷開發(fā)。
“存算”協(xié)同讓存儲性能達到極致
通過智能調(diào)度,ABC融合計算系統(tǒng)可以動態(tài)感知應用的IO類型,并根據(jù)數(shù)據(jù)流動態(tài)調(diào)節(jié)每一個計算階段所需的計算框架、分配合適的計算資源,讓每一階段計算都極速高效。
同時,輔以應用感知提高計算和存儲的協(xié)同,讓計算在存取數(shù)據(jù)過程中與存儲充分協(xié)作,以便在計算過程中采用更好的緩存策略、數(shù)據(jù)一致性策略,甚至將數(shù)據(jù)調(diào)度到合適的存儲位置,獲得更好的數(shù)據(jù)存儲效能。
【存算協(xié)同】,使極道分布式存儲系統(tǒng)能夠【自動根據(jù)應用的IO模式進行適配】,具有不同性能特點的應用得以“物盡其用”,從根源上消除了存儲性能瓶頸,實現(xiàn)了復雜應用場景下數(shù)據(jù)存取性能的最優(yōu)化。