就如同汽車制造行業(yè)的賽車一樣，長期以來，高性能計(jì)算(HPC)領(lǐng)域一直是后來最終得以推廣應(yīng)用到主流計(jì)算領(lǐng)域的相關(guān)技術(shù)的試驗(yàn)場。實(shí)際上，今天的云系統(tǒng)和超大規(guī)模部署對(duì)于推動(dòng)無虛構(gòu)硬件，負(fù)載平衡文件系統(tǒng)和開源軟件開發(fā)的高性能計(jì)算先驅(qū)企業(yè)們而言，可以說是欠下了太多。同時(shí)，這導(dǎo)致業(yè)界的相關(guān)人士也在開始探索目前應(yīng)用于HPC的水冷趨勢(shì)是否適用于主流數(shù)據(jù)中心。
簡短的歷史回顧
在當(dāng)前的數(shù)據(jù)中心業(yè)界，使用水冷卻方案作為冷空氣的替代冷卻方法已經(jīng)再次興起復(fù)蘇。對(duì)于那些年紀(jì)太小剛剛進(jìn)入數(shù)據(jù)中心行業(yè)的年輕從業(yè)人員們來說，他們或許并不知道水冷卻方案曾經(jīng)是數(shù)據(jù)中心最為主要的冷卻方式，而且該方式目前仍然適用于大型主機(jī)。但隨著上世紀(jì)90年代和2000年代以來，x86服務(wù)器架構(gòu)的出現(xiàn)，空氣冷卻方案逐漸成為了事實(shí)上的新的冷卻標(biāo)準(zhǔn)。
位于德國慕尼黑市的Leibniz-Rechenzentrum(LRZ)公司的超級(jí)計(jì)算中心是一處為來自世界各地的多元化研究人員們提供超級(jí)計(jì)算需求支持的計(jì)算中心，在2012年，該計(jì)算中心為HPC供應(yīng)商社區(qū)帶來了獨(dú)特的挑戰(zhàn)：LRZ公司希望能夠在不犧牲計(jì)算性能的情況下大幅削減其電力資源的消耗。來自IBM 公司的System x團(tuán)隊(duì)提供了一款服務(wù)器，該服務(wù)器具有采用溫水直接水冷卻功能，可將未冷卻的水直接連接到CPU，內(nèi)存和其他高功耗組件。由此，溫水冷卻超級(jí)計(jì)算機(jī)的時(shí)代誕生了。
在過去，數(shù)據(jù)中心的水冷卻方案一直都是采用冷水機(jī)組進(jìn)行的。但在LRZ公司的計(jì)算中心，他們使用了高達(dá)45°C的未冷卻水的受控回路。除了帶來了能源效率的提升和數(shù)據(jù)中心級(jí)別的成本大幅節(jié)約之外，還帶來了一些額外的好處。由于超高效的直接水冷卻方案使得CPU保持更冷，因此處理器內(nèi)的能量損失更少，比同類風(fēng)冷處理器節(jié)省多達(dá)5%。如果需要的話，英特爾的CPU可以不斷地以“turbo模式”運(yùn)行，將性能額外的提升10-15%。因?yàn)榉?wù)器系統(tǒng)沒有風(fēng)扇，除了電源上的小風(fēng)扇，使得操作幾乎是無聲的。數(shù)據(jù)中心產(chǎn)生的熱水通過管道輸送到建筑物中作為熱源。而據(jù)LRZ公司稱，借助采用該模式，其整體節(jié)能量接近40%。
今天的現(xiàn)狀
幾年過去后的今天，絕大多數(shù)(即使不是全部的話)主要的x86系統(tǒng)服務(wù)器供應(yīng)商們都以某種方式選擇了水冷卻解決方案模式。這些x86服務(wù)器產(chǎn)品涵蓋了水冷式后門熱交換器，其作用類似于汽車的散熱器，吸收空氣冷卻系統(tǒng)排出的熱量，使得服務(wù)器產(chǎn)品直接浸沒在充滿特殊介電兼容冷卻劑的儲(chǔ)罐中——類似于大量雞肉炸鍋的服務(wù)器則負(fù)責(zé)充當(dāng)加熱組件。
直接水冷系統(tǒng)也在不斷發(fā)展。現(xiàn)在，熱材料的進(jìn)步已經(jīng)使得進(jìn)水溫度允許達(dá)到50°C。這使得水冷卻方案幾乎可以在世界上的任何地方使用，而無需使用冷水機(jī)組。此外，由水冷卻的部件的數(shù)量也已經(jīng)擴(kuò)大：除CPU和內(nèi)存外，現(xiàn)在IO和電壓調(diào)節(jié)裝置都是采用水冷的，進(jìn)而推動(dòng)了從系統(tǒng)到水的熱量傳輸百分比超過了90%。
遺憾的是，并非數(shù)據(jù)中心的所有設(shè)備都可以采用水冷解決方案，因此LRZ公司和聯(lián)想集團(tuán)正在研究通過將熱水“廢物”轉(zhuǎn)化為冷水來擴(kuò)展替代冷卻方案，這些冷水可以重復(fù)用于冷卻數(shù)據(jù)中心的其余部分。這個(gè)過程使用“吸附式冷卻器”，其從100臺(tái)計(jì)算機(jī)架中取出熱水，并將其傳遞到一片特殊的硅膠片上，蒸發(fā)水，對(duì)其進(jìn)行冷卻。由此，蒸發(fā)的水被冷凝回液體形態(tài)，然后要么通過管道回到計(jì)算服務(wù)器機(jī)架，或者要么進(jìn)入后門熱交換器，用于儲(chǔ)存機(jī)架和聯(lián)網(wǎng)裝置，這些都不是水冷的。正是因?yàn)檩斔偷嚼鋮s機(jī)組的水足夠熱，以使該過程得以高效運(yùn)行，進(jìn)而使得這種數(shù)據(jù)中心的設(shè)計(jì)方法成為了可能。服務(wù)器設(shè)備與數(shù)據(jù)中心基礎(chǔ)設(shè)施之間的緊密連接和相互依賴性具有很大的潛力。
固然，擁有數(shù)千個(gè)節(jié)點(diǎn)，數(shù)PB級(jí)別的存儲(chǔ)和數(shù)英里互連電纜的巨型超級(jí)計(jì)算機(jī)集群可能已經(jīng)證明了數(shù)據(jù)中心轉(zhuǎn)向采用水冷卻基礎(chǔ)設(shè)施的方案是成本合理的。那么對(duì)于那些主要是運(yùn)行了企業(yè)的電子郵件系統(tǒng)、文件打印系統(tǒng)、CRM和其他必要的業(yè)務(wù)應(yīng)用程序的一般的數(shù)據(jù)中心而言，是否需要盡快的雇傭水暖工以采用上述冷卻方案呢?并非如此，但事實(shí)上，今天已經(jīng)有一些因素會(huì)推動(dòng)企業(yè)客戶考慮在未來采用上述相關(guān)的替代冷卻方法了，并且這些替代冷卻方法的采用可能比大多數(shù)人預(yù)期的要早。
亟待處理的是數(shù)據(jù)中心的散熱，而不是濕度
過去50年來，推動(dòng)處理器領(lǐng)域不斷創(chuàng)新背后的驅(qū)動(dòng)力一直是摩爾定律，該定律指出：集成電路中的晶體管數(shù)量大約每兩年增加一倍。而提出摩爾定律的英特爾公司每18個(gè)月就會(huì)將CPU性能提高一倍，同時(shí)成本將降低50%。然而，在半個(gè)世紀(jì)之后，對(duì)于這一預(yù)測(cè)的實(shí)現(xiàn)正變得越來越困難。為了保持摩爾定律曲線，英特爾公司必須為CPU增加更多的處理內(nèi)核，這顯然會(huì)消耗更多的功率，從而產(chǎn)生更多的熱量。下表顯示了英特爾處理器的功耗在過去十幾年中是如何增長的：
為了處理應(yīng)對(duì)這些散熱，空氣冷卻環(huán)境中的處理器將需要更大(更高)的散熱器，這將需要具有更高或更大底盤的系統(tǒng)。而根據(jù)美國采暖、制冷和空調(diào)工程師協(xié)會(huì)的估計(jì)，標(biāo)準(zhǔn)化機(jī)架中的熱負(fù)荷將持續(xù)增加：
那些在過去20年中備受歡迎的1U“披薩盒”服務(wù)器最終是否會(huì)成為瀕臨滅絕的產(chǎn)品呢?可能不會(huì)，但與此同時(shí)，它們可能也不會(huì)像過去二十年那樣得到大范圍的部署了。簡而言之，企業(yè)客戶將面臨一個(gè)艱難的權(quán)衡：系統(tǒng)密度(他們的IT人員可以塞進(jìn)機(jī)架的服務(wù)器數(shù)量)與CPU能力(更少的內(nèi)核數(shù)量)。那些希望運(yùn)行更多內(nèi)核CPU的企業(yè)客戶將不得不放棄機(jī)架中的空間，這也就意味著其數(shù)據(jù)中心將需要安裝更多的機(jī)架，進(jìn)而也就意味著其包括房地產(chǎn)成本、電氣費(fèi)用和空調(diào)成本在內(nèi)的運(yùn)營費(fèi)用(OPEX)將更高。
故而這些企業(yè)客戶肯定不得不考慮采用替代的冷卻方案來緩解這些問題。直接水冷系統(tǒng)不需要SUV大小的散熱器。這將使得他們能夠在不影響服務(wù)器計(jì)算性能的情況下保持其規(guī)模大小。
走向更加綠色環(huán)保的解決方案
第二個(gè)因素取決于您企業(yè)數(shù)據(jù)中心所處的地理位置。“綠色環(huán)保”數(shù)據(jù)中心的計(jì)劃倡議已在歐洲實(shí)施了十年。該計(jì)劃倡議促使LRZ和其他類似的企業(yè)紛紛積極的尋求采用空氣冷卻的替代品。TOP500.org網(wǎng)站上甚至還有一份“綠色環(huán)保500強(qiáng)”的清單，列出了最節(jié)能的數(shù)據(jù)中心。隨著更多這些裝置的完工和推廣，其他相關(guān)企業(yè)客戶可能會(huì)看到50%的電力成本節(jié)省和15%的性能提升，這足以證明采取水冷卻方法的有效性。
目前，全球范圍內(nèi)，大約55%的電力供應(yīng)來自對(duì)化石燃料的燃燒。而整個(gè)數(shù)據(jù)中心行業(yè)大約消耗了全球近3%的電力資源，故而整個(gè)數(shù)據(jù)中心行業(yè)在能源消耗方面不能再像“避開雷達(dá)的監(jiān)控，偷偷飛入敵軍領(lǐng)地”那般躲避監(jiān)管了。相關(guān)的政府監(jiān)管機(jī)構(gòu)已經(jīng)看到監(jiān)督要求企業(yè)采用節(jié)能措施的必要性，并制定了相關(guān)的法律法規(guī)來強(qiáng)制企業(yè)降低數(shù)據(jù)中心的能耗。
數(shù)據(jù)中心采取更佳“綠色環(huán)保”的節(jié)能方案不僅僅是一種無私的努力。在許多地方，其也是必要的。目前，全球某些地區(qū)的電價(jià)可能已經(jīng)超過了每千瓦時(shí)0.20美元，而在其他某些地區(qū)的價(jià)格甚至可能是這一數(shù)字的兩倍。當(dāng)前企業(yè)數(shù)據(jù)中心采用替代冷卻方案的最大障礙是管道基礎(chǔ)設(shè)施的前期成本和水冷系統(tǒng)較之空氣冷卻方案的小額溢價(jià)(在大多數(shù)情況下小于10%)。
企業(yè)的財(cái)務(wù)管理部門總是問，“這樣的系統(tǒng)需要多長時(shí)間才能收回成本?”在某些情況下，可能需要一年時(shí)間。 當(dāng)然，這些TCO和ROI取決于解決方案本身和安裝成本，但大多數(shù)OEM廠商都有TCO計(jì)算器來幫助企業(yè)客戶確定直接水冷系統(tǒng)的投資回報(bào)。
總結(jié)
毫無疑問，水冷系統(tǒng)已經(jīng)在HPC中占有一席之地了。我們希望該方案將來能夠擴(kuò)展到常規(guī)的商業(yè)化數(shù)據(jù)中心。顯然，大多數(shù)數(shù)據(jù)中心在目前還在采用Skylake處理器架構(gòu)的時(shí)期都不會(huì)轉(zhuǎn)換到采用水冷卻方案。然而，隨著遵守摩爾定律變得更加困難，替代冷卻方案將逐漸獲得吸引和關(guān)注度。許多企業(yè)客戶將面臨重大的權(quán)衡，他們將尋求最大化服務(wù)器性能和數(shù)據(jù)中心密度的選擇。水冷卻解決方案提供了一種方法，同時(shí)降低了企業(yè)數(shù)據(jù)中心的運(yùn)營成本，并有助于燃燒更少量的煤。
