數(shù)據(jù)中心網(wǎng)絡(luò)演進、趨勢與挑戰(zhàn)

數(shù)據(jù)中心物理鏈路數(shù)量隨網(wǎng)絡(luò)規(guī)模的擴大成倍增長,同等帶寬1:1收斂,3級Clos架構(gòu)物理鏈路數(shù)量為單歸接入端口數(shù)量的3倍,即要滿足16K接入,需要48K根線纜,96K個光模塊。

本文來自全棧網(wǎng)絡(luò)空間安全。

以太網(wǎng)是當(dāng)前以及未來數(shù)據(jù)中心的主要技術(shù),據(jù)相關(guān)數(shù)據(jù)顯示,當(dāng)前數(shù)據(jù)中心以太網(wǎng)占比已經(jīng)接近95%。隨著RDMA等技術(shù)在以太網(wǎng)的應(yīng)用,預(yù)測未來數(shù)據(jù)中心以太網(wǎng)占比將持續(xù)擴大,以太網(wǎng)將向高性能計算網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)擴展,形成統(tǒng)一的高性能算力承載網(wǎng)。

面對數(shù)據(jù)中心高性能算力需求,傳統(tǒng)的有損以太網(wǎng)已經(jīng)無法滿足要求。為了保障RDMA的性能和網(wǎng)絡(luò)層的通信,對算力承載網(wǎng)提出高吞吐、低時延、零丟包等高性能要求。面向更高算力訴求的應(yīng)用時,算力集群對高性能的數(shù)據(jù)承載網(wǎng)絡(luò)提出了全新的挑戰(zhàn):

挑戰(zhàn)一:AI算力訓(xùn)練流量密集,網(wǎng)絡(luò)吞吐低成為瓶頸

網(wǎng)絡(luò)負載分擔(dān)不均問題是當(dāng)前業(yè)界的一個重大的難題,Google就曾指出在其數(shù)據(jù)中心中存在多級HASH不均問題導(dǎo)致10K規(guī)模組網(wǎng)下整網(wǎng)吞吐低于25%的問題。

業(yè)界主流的負載分擔(dān)算法均存在性能問題,不適用于AI訓(xùn)練場景。例如,HASH適用于流數(shù)量較多的場景,不適用AI帶寬大流數(shù)少的場景,會造成嚴(yán)重的負載分擔(dān)不均;Flowlet Switching算法不適用于AI這種連續(xù)大帶寬的流量模型場景;Packet-based HASH需要接收端對流進行重組排序,否則亂序會導(dǎo)致性能急劇下降。

挑戰(zhàn)二:網(wǎng)絡(luò)擁塞導(dǎo)致動態(tài)轉(zhuǎn)發(fā)時延大,影響計算和存儲通信效率

與日俱增的高算力需求需要高效的大規(guī)模算力集群支撐,算力集群擴大一倍,任務(wù)拆分數(shù)量為原來的2倍,以Ring-Allreduce為例集合通信時通信次數(shù)為原來2倍。同時網(wǎng)絡(luò)規(guī)模擴大一倍,網(wǎng)絡(luò)擁塞概率增加,網(wǎng)絡(luò)擁塞導(dǎo)致的計算效率下降更加凸顯。在現(xiàn)有傳統(tǒng)的集群應(yīng)用中,服務(wù)器端和網(wǎng)絡(luò)互相隔離、能力互不感知,網(wǎng)絡(luò)只作為傳遞數(shù)據(jù)的管道使用,針對以太網(wǎng)盡力轉(zhuǎn)發(fā)機制,網(wǎng)絡(luò)容易成為擁塞瓶頸,導(dǎo)致計算效率下降,而傳統(tǒng)的網(wǎng)絡(luò)擁塞控制技術(shù)無法讓算力得到充分釋放。因此,如何有效利用網(wǎng)絡(luò)資源,借助網(wǎng)絡(luò)的全局視角,改進算力通信網(wǎng)絡(luò)的擁塞控制,提升算力通信效率,成為新的挑戰(zhàn)。

挑戰(zhàn)三:網(wǎng)絡(luò)故障收斂時間長,影響計算和存儲業(yè)務(wù)性能和穩(wěn)定性

數(shù)據(jù)中心物理鏈路數(shù)量隨網(wǎng)絡(luò)規(guī)模的擴大成倍增長,同等帶寬1:1收斂,3級Clos架構(gòu)物理鏈路數(shù)量為單歸接入端口數(shù)量的3倍,即要滿足16K接入,需要48K根線纜,96K個光模塊。由于光模塊器件或線纜損壞所導(dǎo)致的鏈路故障幾乎無法避免。當(dāng)鏈路故障發(fā)生時,傳統(tǒng)收斂技術(shù)依賴控制面的動態(tài)路由協(xié)議進行信息交互和重新選路,收斂時間長,實際部署的大規(guī)模DCN網(wǎng)絡(luò)的路由收斂時間甚至達到秒級乃至10s。因為鏈路導(dǎo)致的網(wǎng)絡(luò)故障對業(yè)務(wù)穩(wěn)定性產(chǎn)生負面影響,數(shù)據(jù)丟失導(dǎo)致IO歸零,計算任務(wù)重啟等,會造成在線實時敏感類業(yè)務(wù)性能的嚴(yán)重下降,影響業(yè)務(wù)體驗。

挑戰(zhàn)四:傳統(tǒng)網(wǎng)絡(luò)架構(gòu)無法支撐超大規(guī)模算力集群

算力需求倍增,需要更大規(guī)模網(wǎng)絡(luò)支撐。隨著網(wǎng)絡(luò)規(guī)模向10萬節(jié)點演進,傳統(tǒng)的3層Clos架構(gòu)已經(jīng)無法支撐如此規(guī)模的網(wǎng)絡(luò)擴展,想要擴大規(guī)模需要采用4層Clos架構(gòu)。但是,提升網(wǎng)絡(luò)架構(gòu)層級將導(dǎo)致網(wǎng)絡(luò)節(jié)點增加,并由此帶來網(wǎng)絡(luò)時延的增加,如在3級Clos架構(gòu)中,計算節(jié)點間交互需要經(jīng)過5個網(wǎng)絡(luò)節(jié)點,4級Clos網(wǎng)絡(luò)架構(gòu),則需要經(jīng)過7個網(wǎng)絡(luò)節(jié)點,相比原來2層Clos的3個網(wǎng)絡(luò)節(jié)點,網(wǎng)絡(luò)時延增加了2倍多,無法滿足并行計算效率要求。

挑戰(zhàn)五:存算網(wǎng)絡(luò)融合,計算和存儲相互影響SLA難保障

數(shù)據(jù)中心是數(shù)據(jù)存儲和計算的集散地,數(shù)據(jù)存儲和處理廣泛分布和共享于數(shù)據(jù)中心的各個角落,及時信息共享需要依賴連接存儲和計算單元的網(wǎng)絡(luò)。為了節(jié)省投入,計算和存儲網(wǎng)絡(luò)、以及管理網(wǎng)絡(luò)融合部署成為業(yè)界新的嘗試。存儲和計算、管理三個網(wǎng)絡(luò)平面融合,最高可以節(jié)省接近50%的網(wǎng)絡(luò)投資。

網(wǎng)絡(luò)融合帶來的是業(yè)務(wù)流量融合,不同業(yè)務(wù)流量之間,會出現(xiàn)互相干擾,導(dǎo)致計算性能得不到釋放。如何同時保障計算和存儲業(yè)務(wù)流量公平混合調(diào)度,使得算力能夠有效釋放,這將對網(wǎng)絡(luò)帶來新的挑戰(zhàn)。

數(shù)據(jù)中心網(wǎng)絡(luò)演進階段

標(biāo)準(zhǔn)以太網(wǎng)絡(luò)采用盡力而為的工作機制,天然有丟包的特性對存儲的性能穩(wěn)定性帶來了極大的影響。以太網(wǎng)為什么會丟包呢?當(dāng)多臺服務(wù)器向一臺服務(wù)器同時發(fā)送大量報文,報文數(shù)量超過交換機的承受能力時,丟包就產(chǎn)生了。此時數(shù)據(jù)需要重傳,這種返工帶來的結(jié)果就是傳輸效率的降低。盡力而為網(wǎng)絡(luò)已然成為了過去,高性能應(yīng)用正在數(shù)據(jù)中心融合。在這一背景下,數(shù)據(jù)中心網(wǎng)絡(luò)需要重構(gòu)以實現(xiàn)高吞吐、低時延、高可靠性、強可擴展性。

產(chǎn)業(yè)數(shù)字化推動數(shù)據(jù)中心發(fā)展,推動數(shù)據(jù)中心網(wǎng)絡(luò)不斷演進,根據(jù)不同發(fā)展時期數(shù)據(jù)中心可以總結(jié)為幾個階段:虛擬化階段、云化應(yīng)用階段、算力服務(wù)化階段。

1.png

虛擬化階段,數(shù)據(jù)中心為辦公、郵件、web門戶網(wǎng)站等提供虛擬化基礎(chǔ)設(shè)施,實現(xiàn)數(shù)據(jù)大集中,計算和存儲資源池化。此時數(shù)據(jù)中心傳統(tǒng)以太網(wǎng),在帶寬、時延、可靠性方面都無法滿足高性能計算和存儲的要求,數(shù)據(jù)中心高性能存儲需要承載在FC專網(wǎng),而超算中心高性能互聯(lián)則通過IB專網(wǎng)承載。通用計算以太網(wǎng),高性能存儲FC網(wǎng),高性能計算IB網(wǎng)絡(luò),分別通過三種不同網(wǎng)絡(luò)技術(shù)承載,需要各自獨立管理維護。

數(shù)據(jù)中心云計算技術(shù)的快速采用助長網(wǎng)絡(luò)中對以太網(wǎng)交換需求的增長,隨著以太網(wǎng)400GE以太技術(shù)的商用,及800GE標(biāo)準(zhǔn)的發(fā)布,使得以太在帶寬上已經(jīng)超越IB,無損以太技術(shù)逐漸成熟,高性能網(wǎng)絡(luò)開始往無損以太邁進。

數(shù)據(jù)中心云化應(yīng)用階段,數(shù)據(jù)中心為移動互聯(lián)網(wǎng)、網(wǎng)上銀行、政務(wù)云化等提供敏捷智能的服務(wù)應(yīng)用,推進數(shù)字化轉(zhuǎn)型。隨著存儲介質(zhì)從HDD到SSD的提升,存儲服務(wù)化以及RDMA技術(shù)在數(shù)據(jù)中心的廣泛應(yīng)用,對數(shù)據(jù)中心網(wǎng)絡(luò)在帶寬、吞吐、時延上提出新的要求。數(shù)據(jù)中心智能無損技術(shù),滿足全閃存以及RDMA的性能要求,并通過零丟包、高吞吐、低時延的無損網(wǎng)絡(luò)實現(xiàn)通用計算、存儲網(wǎng)絡(luò)技術(shù)融合,數(shù)據(jù)中心網(wǎng)絡(luò)開始邁入無損以太網(wǎng)時代。與傳統(tǒng)計算和存儲網(wǎng)絡(luò)兩種不同技術(shù)、兩套管理系統(tǒng)、分散管理的煙囪式架構(gòu)相比,無損以太網(wǎng)絡(luò)技術(shù)實現(xiàn)數(shù)據(jù)中心存儲網(wǎng)絡(luò)以太化,實現(xiàn)計算和存儲網(wǎng)絡(luò)技術(shù)統(tǒng)一,運維統(tǒng)一。

隨著機器視覺、語音識別、自然語言處理、自動駕駛等AI應(yīng)用需求爆發(fā),在數(shù)據(jù)中心算力服務(wù)化階段,GPU/NPU算力開始規(guī)?;渴?,數(shù)據(jù)中心朝E級/10E級更大規(guī)模算力互聯(lián)演進,算力網(wǎng)絡(luò)進入100G/200G接入400G高速互聯(lián)時代。在面向更高算力訴求的應(yīng)用時,新算力集群對網(wǎng)絡(luò)提出了諸多全新的挑戰(zhàn)。通過超融合以太技術(shù)的應(yīng)用可有效應(yīng)對未來算力應(yīng)用需求,具體來看,超融合以太技術(shù)具備四大優(yōu)勢,一是可通過網(wǎng)絡(luò)架構(gòu)創(chuàng)新滿足超大規(guī)模網(wǎng)絡(luò)擴展,二是可通過全網(wǎng)負載均衡技術(shù)實現(xiàn)AI算力100%釋放,三是可通過端網(wǎng)協(xié)同減少算力冗余通信,四是可通過全新的智能擁塞控制算法,實現(xiàn)計算網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)融合混合調(diào)度。

超融合以太技術(shù)的提出為數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展指明了方向,也成為應(yīng)對未來超大規(guī)模算力集群高性能算力需求的重要解決方案。超融合以太技術(shù)以實現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)融合充分釋放算力為目標(biāo),通用計算、存儲、高性能計算統(tǒng)一承載在0丟包以太網(wǎng)技術(shù)棧上,打破傳統(tǒng)分散架構(gòu)限制,實現(xiàn)從三張網(wǎng)到一張網(wǎng)的融合部署,統(tǒng)一網(wǎng)絡(luò)架構(gòu),推動無損網(wǎng)絡(luò)向超融合網(wǎng)絡(luò)架構(gòu)演進,實現(xiàn)算力網(wǎng)絡(luò)融合。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論