隨著我國信息產(chǎn)業(yè)的飛速發(fā)展,數(shù)據(jù)中心總體需求不斷提升,單機柜功率密度不斷提高,傳統(tǒng)的散熱方式已不能滿足當(dāng)前高密度數(shù)據(jù)中心的發(fā)展需求。液冷技術(shù)的出現(xiàn),改善了傳統(tǒng)的散熱形式,并憑借高可靠、低能耗等優(yōu)勢,逐步被應(yīng)用于數(shù)據(jù)中心。文章主要對浸沒式、冷板式、噴淋式3種液冷技術(shù)進行分析,并對3種液冷技術(shù)的特點進行對比,歸納3種技術(shù)的不同特性。分析液冷系統(tǒng)、應(yīng)用以及行業(yè)發(fā)展,為后續(xù)建設(shè)綠色高效的數(shù)據(jù)中心提供參考。
01引言
數(shù)據(jù)中心在信息社會和數(shù)字經(jīng)濟發(fā)展中扮演著重要的角色,提供計算、存儲、網(wǎng)絡(luò)能力,支撐社交、視頻、網(wǎng)購等應(yīng)用的正常進行。隨著云計算、大數(shù)據(jù)、人工智能等技術(shù)的發(fā)展和應(yīng)用,數(shù)據(jù)中心規(guī)模不斷擴大,數(shù)據(jù)中心總體耗能總量不斷增加。2020年,中國數(shù)據(jù)中心年耗電量超過2500億kW·h,占全部用電量比例的3%,預(yù)計仍將以15%~20%的速率持續(xù)增長。如圖1所示,數(shù)據(jù)中心能耗結(jié)構(gòu)中冷卻系統(tǒng)能耗占據(jù)高達40%,成為數(shù)據(jù)中心進行能效優(yōu)化的重要因素。
隨著國家對新基建的重視,數(shù)據(jù)中心迎來新的發(fā)展浪潮,伴隨著數(shù)字化社會的發(fā)展,數(shù)據(jù)中心也將會承擔(dān)越來越重要的角色,推動數(shù)據(jù)處理、存儲、傳輸?shù)认嚓P(guān)設(shè)備的建設(shè)與發(fā)展。
數(shù)據(jù)中心能耗結(jié)構(gòu)圖
作為各類數(shù)據(jù)信息的關(guān)鍵基礎(chǔ)設(shè)施,數(shù)據(jù)中心的規(guī)模不斷提升,規(guī)模的年增長率保持在30%左右,截止到2020年底,數(shù)據(jù)中心機架總量已經(jīng)超過400萬架。數(shù)據(jù)中心利用率是數(shù)據(jù)中心算力的主要表現(xiàn)形式。2019年底,我國大型、超大型、中小型的數(shù)據(jù)中心利用率均達到45%以上。當(dāng)前,數(shù)據(jù)中心能效水平不斷攀升,加快了可再生能源的利用效率。當(dāng)前,我國數(shù)據(jù)中心的電源利用效率(Power Usage Effectiveness,PUE)水平較低,大型、超大型數(shù)據(jù)中心平均PUE均達到1.5以下,在綠色低碳數(shù)中心建設(shè)方面取得了突出的成果。同時,我國可再生能源利用率不斷攀升,到2020年底,可再生能源發(fā)電量超過22000億kW,增長率達8.4%。螞蟻集團、阿里巴巴等領(lǐng)先數(shù)據(jù)中心企業(yè)設(shè)計實施了可再生能源利用、綠色技術(shù)研發(fā)等綠色低碳數(shù)據(jù)中心策略。
數(shù)據(jù)中心一方面作為各類數(shù)據(jù)信息的核心基礎(chǔ)設(shè)施,另一方面又與傳統(tǒng)行業(yè)融合發(fā)展、緊密相連,特別是與電力系統(tǒng)領(lǐng)域更加密不可分。數(shù)據(jù)中心機房作為現(xiàn)代信息建設(shè)的基礎(chǔ)工程,能夠提供穩(wěn)定的運行環(huán)境。而電力系統(tǒng)作為數(shù)據(jù)中心的重要組成部分,占據(jù)整個數(shù)據(jù)中心資產(chǎn)的50%以上,是數(shù)據(jù)中心的主要支撐。近年來,隨著我國電力行業(yè)信息化程度逐步提高,能源互聯(lián)網(wǎng)建設(shè)進程不斷增加,電力行業(yè)先后提出“云大物移”、智慧能源等建設(shè)目標(biāo),深入應(yīng)用大數(shù)據(jù)、人工智能、區(qū)塊鏈等技術(shù),加速推進能源革命與數(shù)字革命融合發(fā)展。當(dāng)前,智能電網(wǎng)和互聯(lián)網(wǎng)技術(shù)不斷創(chuàng)新,以數(shù)據(jù)賦能電力系統(tǒng),用價格信號引導(dǎo)電力用戶改變自身的用電行為,從需求側(cè)增加電力系統(tǒng)運行的敏捷性,豐富電網(wǎng)的運行調(diào)節(jié)手段,有效促進我國電能量市場的高速發(fā)展。同時,國家電網(wǎng)有限公司結(jié)合供配電資源優(yōu)勢,提出將變電站、數(shù)據(jù)中心站等多站進行融合的建設(shè)目標(biāo),利用現(xiàn)有資源,實現(xiàn)數(shù)量多、分布廣的部署特點,為社會提供多種類型的服務(wù)。我國電力行業(yè)大型數(shù)據(jù)中心以支撐自身業(yè)務(wù)為主,并不斷以綠色化、智能化、定制化為方式,推動數(shù)據(jù)中心建設(shè)。
數(shù)據(jù)中心作為集中放置電子信息設(shè)備,提供運行環(huán)境的建筑場所,是電力系統(tǒng)領(lǐng)域中的重要基礎(chǔ)設(shè)施。數(shù)據(jù)中心大多建立在環(huán)境周邊清潔、水源充足、遠離自然災(zāi)害隱患、環(huán)境溫度利于節(jié)約能源的地區(qū),不但能夠確保數(shù)據(jù)中心建設(shè)的安全性,而且對降低數(shù)據(jù)中心在建設(shè)過程中的能源消耗、節(jié)省數(shù)據(jù)中心的建設(shè)成本有一定的優(yōu)勢,如張北云聯(lián)數(shù)據(jù)中心通過全自動化樓宇設(shè)備自控(Building Automation System-RTU,BA)系統(tǒng),利用周邊環(huán)境溫度低的優(yōu)勢,實現(xiàn)自然冷源利用率的最大化,使年均PUE達1.23。另外,電力對于數(shù)據(jù)中心基礎(chǔ)建設(shè)是數(shù)據(jù)中心運營的重要保障,電價成本的高低對數(shù)據(jù)中心的建設(shè)和運營均具有較大的影響。數(shù)據(jù)中心全天處于運行狀態(tài),不但需要充足的電力供給保障服務(wù)器、IT設(shè)備的正常運行,而且還需要長期運行機房的散熱設(shè)備對機房進行降溫處理。因此,電費支出成為數(shù)據(jù)中心運營支出的主要部分,使華為、阿里巴巴、騰訊、今日頭條、百度等科技巨頭對數(shù)據(jù)中心的布局逐漸向河北、內(nèi)蒙古、貴州等一線周邊城市擴散。如位于烏蘭察布市察哈爾經(jīng)濟技術(shù)開發(fā)區(qū)的烏蘭察布華為云數(shù)據(jù)中心,利用電力氣候等獨特優(yōu)勢采取多種措施實現(xiàn)綠色、高質(zhì)量、低成本的運營模式,達到全年P(guān)UE小于1.15,成為業(yè)界最佳水平。阿里巴巴公司利用貴州水電充足、電價成本偏低的優(yōu)勢,將數(shù)據(jù)中心設(shè)立在貴州,實現(xiàn)了建設(shè)高等級、低成本的數(shù)據(jù)中心。
隨著新基建戰(zhàn)略的不斷推進,數(shù)據(jù)中心逐漸成為各行各業(yè)不可或缺的紐帶,同時,其自身的能耗問題也備受關(guān)注。由于冷卻系統(tǒng)耗能占比高、可優(yōu)化空間大,當(dāng)前通過改善數(shù)據(jù)中心的制冷方式,進而降低數(shù)據(jù)中心能耗,已經(jīng)成為推進我國數(shù)據(jù)中心高質(zhì)量發(fā)展的必要措施之一。液冷技術(shù)是數(shù)據(jù)中心制冷革新的關(guān)鍵技術(shù)之一,可以較好地提高數(shù)據(jù)中心的能效水平。
在發(fā)展方面,液冷技術(shù)在航天等領(lǐng)域內(nèi)具有很長的應(yīng)用歷史,而在數(shù)據(jù)中心行業(yè)中發(fā)展較為緩慢。文獻[9]提出了液冷結(jié)合風(fēng)冷技術(shù)的雙通道系統(tǒng),且測試實驗PUE結(jié)果達1.1到1.2之間;文獻基于多個城市的液冷散熱樣本數(shù)據(jù)進行分析,構(gòu)建了不同城市數(shù)據(jù)中心制冷散熱系統(tǒng)的能耗計算模型,有效降低了數(shù)據(jù)中心系統(tǒng)的能耗值。文獻結(jié)合數(shù)據(jù)中心節(jié)能分析基礎(chǔ)上,采用熱回收技術(shù),在降低數(shù)據(jù)中心能耗的同時,提升熱回收效益。在國外,也有大量的研究人員對降低數(shù)據(jù)中心的損耗進行大量的研究,產(chǎn)生了較多的應(yīng)用案例,如IBM公司的SuperMUC充分應(yīng)用液冷技術(shù)的制冷優(yōu)勢,大幅度降低了數(shù)據(jù)中心的損耗率。
針對數(shù)據(jù)中心液冷技術(shù)在不同行業(yè)的技術(shù)應(yīng)用發(fā)展,本文主要從浸沒式、冷板式、噴淋式3種液冷技術(shù)的發(fā)展進行分析,并將3種液冷技術(shù)的特點進行系統(tǒng)的對比,總結(jié)出液冷技術(shù)的不同特點以及適用應(yīng)用場景類型,為數(shù)據(jù)中心液冷技術(shù)的場景應(yīng)用及技術(shù)發(fā)展提供參考。
01液冷技術(shù)分析
液冷技術(shù)是電子設(shè)備進行散熱的技術(shù),主要區(qū)別于目前常用的風(fēng)冷技術(shù)。當(dāng)前液冷技術(shù)包括浸沒式、冷板式、噴淋式等類型,本節(jié)主要介紹上述3種液冷技術(shù)的系統(tǒng)組成和運行過程,并對3種液冷技術(shù)進行對比。
1.1浸沒式液冷技術(shù)
浸沒式液冷技術(shù)通過浸沒發(fā)熱器件,使得器件與液體直接接觸,進而進行熱交換。根據(jù)介質(zhì)是否存在相變化分為單相浸沒和相變浸沒2種類型。本文主要以相變浸沒液冷技術(shù)為研究對象,分析其降低數(shù)據(jù)中心能耗工作原理。
浸沒式液冷技術(shù)主要由冷卻液、腔體結(jié)構(gòu)、換熱模塊及相關(guān)的連接管道等設(shè)施構(gòu)成。其中,冷卻液為數(shù)據(jù)中心的換熱介質(zhì),具有高絕緣、低黏度以及超強的兼容特性,是浸沒式液冷技術(shù)的主要媒介。主板芯片等發(fā)熱器件表面的散熱性能在很大程度上影響介質(zhì)沸騰的換熱強度,若芯片表面光滑,則液體在換熱面上的傳熱系數(shù)較高,從而提高熱量的散發(fā)速率。市場上常采用安裝散熱罩的方式,增大芯片的散熱面積,從而提高數(shù)據(jù)中心的散熱性能,降低損耗率。冷卻模塊是浸沒式液冷技術(shù)的主要散熱模塊,包含液氣換熱器、循環(huán)泵等多個配件設(shè)施。冷卻模塊的部署方式可以影響冷卻液的冷凝換熱效率,改變浸沒式系統(tǒng)的冷卻極限,從而降低數(shù)據(jù)中心的散熱效率,其模塊大多適用于高性能、高熱流的計算場景,如中科曙光E級超算設(shè)備,完全擺脫風(fēng)冷散熱的制約,去除風(fēng)冷式散熱器,配置512個計算節(jié)點,系統(tǒng)峰值功耗為249 kW,PUE達1.04,有效解決高密度計算產(chǎn)生的制冷散熱問題。網(wǎng)速科技是最早布局液冷數(shù)據(jù)中心產(chǎn)品線的企業(yè),通過浸沒式液冷的散熱方式,將散熱能耗降低90%~95%、設(shè)備能耗降低10%~20%,有效降低數(shù)據(jù)中心的總體能耗占比。
1.2冷板式液冷分析
冷板式液冷系統(tǒng)主要由換熱冷板、熱交換單元和循環(huán)管路、冷源等部件構(gòu)成。冷板式液冷將熱量傳遞給循環(huán)管道中的冷卻液體,通過液體本身的制冷特性將服務(wù)器產(chǎn)生的熱量帶走,提高冷板的冷卻效率,大幅度降低數(shù)據(jù)中心的能耗。
換熱冷板通過空氣、水或其他冷卻介質(zhì)在通道中的強迫對流,帶走服務(wù)器中的耗熱能量,可有效降低數(shù)據(jù)中心的PUE值。冷板材質(zhì)一般由高導(dǎo)熱系數(shù)的材料構(gòu)成,使得冷板表面接近等溫,帶走大量的集中熱量。并且冷板的應(yīng)用減少冷卻介質(zhì)對電子元器件的污染,提高數(shù)據(jù)中心設(shè)施的使用壽命。冷量分配單元主要為豎直和水平2種形式,通過豎直和水平分液單元將低溫冷卻液均勻的分配給每一個分液單元,防止芯片熱量無法有效散出,減少因節(jié)點溫度升高而發(fā)生的隱患,提高系統(tǒng)的計算能力。循環(huán)管路是連接換熱冷板、熱交換單元以及其他相關(guān)器件的重要部件,一般分為直連式和環(huán)路式2種類型,大多根據(jù)數(shù)據(jù)中心建設(shè)的不同需求,選擇合適的管路進行連接。冷源作為帶走數(shù)據(jù)中心產(chǎn)生熱量的最終出口,是冷卻系統(tǒng)的主要組成部分。大多采用室外冷卻設(shè)備提供的低溫冷卻水在熱交換單元中充當(dāng)冷源。冷源與升溫后的冷卻液進行間接接觸,通過帶走冷卻液的熱量進行降溫,使冷卻液以低溫狀態(tài)進入芯片模塊,進而進入散熱循環(huán)。因此,冷源的選擇合理與否,將會直接影響整個系統(tǒng)的使用效率及運行的經(jīng)濟性問題,如阿里巴巴千島湖數(shù)據(jù)中心利用周邊環(huán)境的自然資源,采用湖水自然冷卻系統(tǒng)等技術(shù),使PUE達1.28,有效節(jié)省數(shù)據(jù)中心的建設(shè)成本。
1.3噴淋式液冷分析
噴淋式液冷一般不需要對數(shù)據(jù)中心的基礎(chǔ)設(shè)施進行大幅度地改動,只需在噴淋模塊調(diào)整噴淋頭,實現(xiàn)噴淋設(shè)備與服務(wù)器的精準(zhǔn)對應(yīng)。與傳統(tǒng)風(fēng)冷服務(wù)器相比,其可以有效降低器件所產(chǎn)生的熱量,從而控制數(shù)據(jù)中心運行的溫度。噴淋式液冷服務(wù)器是整個噴淋系統(tǒng)的主要內(nèi)部器件,憑借其高性能、低能耗、高可靠運行的特點,可以有效降低數(shù)據(jù)中心能耗。當(dāng)前,先進的噴淋式液冷服務(wù)器大多采用芯片級噴淋液冷技術(shù),通過冷卻液帶走部件產(chǎn)生的熱量,冷卻液的溫度提升后,隨即進入冷卻系統(tǒng)的換熱裝置進行換熱。
1.4液冷技術(shù)對比
對冷板式、浸沒式、噴淋式液冷技術(shù)進行比對,具體情況如表1所示。由表1可以看出,冷板式液冷技術(shù)在可維護性、空間利用率、兼容性方面具有較強的應(yīng)用優(yōu)勢;但在成本方面,由于其單獨定制冷板裝置的原因,導(dǎo)致技術(shù)應(yīng)用的成本相對較高。而噴淋式液冷技術(shù)則通過改造舊式的服務(wù)器和機柜的形式,大幅度減少了數(shù)據(jù)中心基礎(chǔ)設(shè)施的建設(shè)成本。浸沒式技術(shù)與其他2種技術(shù)相比,雖然器件的可維護性和兼容性較差,但空間利用率與可循環(huán)方面具有較好的表現(xiàn),降低數(shù)據(jù)中心的能耗。
02液冷產(chǎn)業(yè)發(fā)展分析
2.1行業(yè)應(yīng)用現(xiàn)狀分析
第1節(jié)中液冷技術(shù)在數(shù)據(jù)中心行業(yè)已經(jīng)有一些具體的應(yīng)用案例。冷板式液冷是應(yīng)用最早的液冷技術(shù),在數(shù)據(jù)中心、高性能計算等行業(yè)均有應(yīng)用;浸沒式液冷技術(shù)具有節(jié)能性、高性能的特點,在計算機超算領(lǐng)域具有廣闊的應(yīng)用前景;噴淋式液冷目前公開的應(yīng)用較少,但近年來應(yīng)用也逐步加快。本節(jié)將結(jié)合液冷技術(shù)的類型特點,通過不同的應(yīng)用案例分析浸沒式、冷板式、噴淋式的應(yīng)用技術(shù)。
1)浸沒式液冷技術(shù)。目前,高性能計算是進行科學(xué)計算、推動信息社會發(fā)展的重要方式。以中科曙光為例,其一直致力于大型超算系統(tǒng)的研發(fā),而高效制冷技術(shù)是降低高密度IT設(shè)備的主要形式,經(jīng)過相關(guān)研發(fā)和測試,曙光E級超算系統(tǒng)已經(jīng)利用浸沒式液體相變的冷卻方式,有效降低液冷系統(tǒng)的冷卻極限。同時,其采用立體擴展的多層機房模式,完成系統(tǒng)的高效集成。除中科曙光外,北京服務(wù)于云渲染的數(shù)據(jù)中心,通過浸沒式液冷技術(shù)改變傳統(tǒng)的風(fēng)冷技術(shù),去除制冷主機和末端空調(diào)風(fēng)機,降低數(shù)據(jù)中心基本設(shè)施的電能損耗,提高數(shù)據(jù)中心的運行效率。
2)冷板式液冷技術(shù)。當(dāng)前,冷板式液冷技術(shù)的應(yīng)用也具有較多的案例,如北京水冷超算中心采用常溫水冷技術(shù),解決數(shù)據(jù)中心的內(nèi)存散熱問題,從而降低數(shù)據(jù)中心的能耗,使該數(shù)據(jù)中心達到國內(nèi)領(lǐng)先的節(jié)能水平,成為業(yè)界的標(biāo)桿;百度陽泉數(shù)據(jù)中心也采用冷板式液冷技術(shù),通過利用系統(tǒng)循環(huán)泵驅(qū)動溫水技術(shù)帶走升溫的芯片熱量,進而降低數(shù)據(jù)中心的能耗。華為研發(fā)的冷板式液冷技術(shù)也已經(jīng)開始推廣應(yīng)用,并在PUE方面取得較好的效果。
3)噴淋式液冷技術(shù)。噴淋式液冷技術(shù)的理論基礎(chǔ)研究相對較少,技術(shù)的應(yīng)用場景也比較有限。因此,只有少量數(shù)據(jù)中心基礎(chǔ)設(shè)備采用噴淋式液冷技術(shù),如上海大數(shù)據(jù)試驗場,一方面其采用模塊化的集裝箱式技術(shù),降低了建設(shè)數(shù)據(jù)中心的應(yīng)用成本;另一方面,其結(jié)合噴淋液冷技術(shù),實現(xiàn)284 kW的IT負(fù)載,并將IT設(shè)備的PUE控制在穩(wěn)定的范圍內(nèi),提高數(shù)據(jù)中心的能效。
2.2行業(yè)應(yīng)用問題分析
液冷技術(shù)在數(shù)據(jù)中心行業(yè)的散熱方面具有顯著的優(yōu)勢,但在數(shù)據(jù)中心行業(yè)大規(guī)模應(yīng)用,仍需提高技術(shù)的創(chuàng)新性和適用性,需要解決以下行業(yè)發(fā)展問題。
1)液冷適用性。每一種新興技術(shù)的應(yīng)用,都需要廠商進行長期的實驗,才能保證技術(shù)的穩(wěn)定性。并且在大批量應(yīng)用之前需進行小規(guī)模的定點實驗,提高液冷的實用性。當(dāng)前,液冷技術(shù)應(yīng)當(dāng)進一步加強小規(guī)模的定點實驗,并努力批量應(yīng)用于數(shù)據(jù)中心行業(yè)中。
2)液冷架構(gòu)的重構(gòu)性。液冷方式的部署環(huán)境與傳統(tǒng)的機房有較大的差異,而且部署架構(gòu)也需要重新構(gòu)建。因此,采用液冷技術(shù)不但面臨高額的部署費用,而且也增加運維人員的時間成本,大幅度升高了數(shù)據(jù)中心的運維成本,因此,需要進一步在架構(gòu)、運維等方面進行優(yōu)化。
3)液冷設(shè)計的規(guī)范性。液冷在數(shù)據(jù)中心的建設(shè)和測試過程中缺乏成熟的行業(yè)規(guī)范,大部分企業(yè)均根據(jù)自身的需求特點進行研發(fā),未達成業(yè)界的統(tǒng)一標(biāo)準(zhǔn)。若未進行標(biāo)準(zhǔn)化統(tǒng)一管理,會導(dǎo)致液冷技術(shù)不規(guī)范發(fā)展,一旦產(chǎn)生破壞性故障,會徹底打擊液冷技術(shù)的發(fā)展。同時,非標(biāo)產(chǎn)品也不利于成本和應(yīng)用,因此必須加快標(biāo)準(zhǔn)化進程。
2.3行業(yè)發(fā)展建議
液冷技術(shù)在數(shù)據(jù)中心行業(yè)的應(yīng)用中,需要逐步成熟的發(fā)展過程,必須依托廠商、用戶及行業(yè)組織的推進,才能在未來的發(fā)展中獲得大幅度提升,具體建議如下。
1)完善液冷技術(shù)材料的通用性,降低建設(shè)成本。如冷板式液冷技術(shù)中,冷板的要求規(guī)格較多,導(dǎo)致冷板式技術(shù)的成本較高。若對液冷應(yīng)用的原材料和配件進行深入研究,降低制造液冷原材料和配件的成本,將會大幅度提升液冷數(shù)據(jù)中心的發(fā)展速度。
2)提高液冷技術(shù)的運維效率。液冷技術(shù)的運維與傳統(tǒng)風(fēng)冷技術(shù)的運維方式相差較大,從而加劇運維人員的工作成本。因此,需要生產(chǎn)配件的各個廠商及設(shè)備商提供安裝、調(diào)試和運維的規(guī)范說明。通過標(biāo)準(zhǔn)化的流程,不但保障其應(yīng)用的穩(wěn)定性,而且大幅度提升運維人員的工作效率。
3)加強液冷技術(shù)驗證力度,確保技術(shù)可靠運行。液冷技術(shù)的可靠性實施,需要依托于設(shè)備商、服務(wù)商、用戶等企業(yè)。從節(jié)能性、可靠性和適用性等方面,推進液冷技術(shù)示范試點的運行,并在加強驗證的基礎(chǔ)上,在數(shù)據(jù)中心行業(yè)進行大批量的推廣。
03結(jié)語
我國數(shù)據(jù)中心飛速發(fā)展的同時,數(shù)據(jù)中心能耗也逐漸增加,對企業(yè)發(fā)展和社會能源,均帶來了巨大挑戰(zhàn)。在數(shù)據(jù)中心的基礎(chǔ)設(shè)施建設(shè)中,液冷技術(shù)雖不是一個全新的概念,但仍存在液冷適用性、架構(gòu)重構(gòu)性以及設(shè)計規(guī)范性等多方面問題。針對液冷技術(shù),本文從技術(shù)和行業(yè)發(fā)展2個方面進行分析,并提出液冷技術(shù)的發(fā)展優(yōu)勢,為未來數(shù)據(jù)中心行業(yè)的發(fā)展提供理論參考。
下一階段仍需高度關(guān)注液冷技術(shù)和數(shù)據(jù)中心行業(yè)的變革,為推動液冷技術(shù)的應(yīng)用以及實現(xiàn)高效能數(shù)據(jù)中心建設(shè)奠定基礎(chǔ)。