一年前,我在播報微軟在海底建設(shè)數(shù)據(jù)中心的新聞時,還是很震驚的,感嘆在解決數(shù)據(jù)中心能耗問題上,行業(yè)內(nèi)真是用盡辦法,后來就陸續(xù)看到北極圈構(gòu)建數(shù)據(jù)中心,騰訊在山洞構(gòu)建數(shù)據(jù)中心等各種創(chuàng)意實踐。
互聯(lián)網(wǎng)公司建立在北極圈內(nèi)的數(shù)據(jù)中心
微軟Project Natick 項目第二階段下海
騰訊山洞數(shù)據(jù)中心外景圖
這些嘗試都源于眼下爆炸增長的數(shù)據(jù)量,尤其在人工智能和5G時代,作為承載這些數(shù)據(jù)的的物理載體,數(shù)據(jù)中心面臨的挑戰(zhàn)越來越大:一是數(shù)據(jù)中心的存儲能力、計算能力隨著數(shù)據(jù)中心的規(guī)模增長,機柜功率密度會越來越高。二是單體數(shù)據(jù)中心的能耗持續(xù)居高不下。
但海底、山洞、北極圈,這種利用自然冷源來為數(shù)據(jù)中心提供更高能效的模式不具備可復(fù)制性,畢竟要受地理、自然環(huán)境的局限,相比下,很多科技公司在標(biāo)準(zhǔn)化、廣泛普及性,全地域推廣的探索更值得關(guān)注。
面對數(shù)據(jù)中心超高、超前密度的應(yīng)用,中科曙光在十年前就開始數(shù)據(jù)中心的技術(shù)研究。
一是早布局。中科曙光早在2009年就成立了數(shù)據(jù)中心產(chǎn)品實驗部,2010年推出曙光模塊化數(shù)據(jù)中心,2014年研發(fā)國內(nèi)首套標(biāo)準(zhǔn)化液冷服務(wù)器并在2017年交付商用。
二是產(chǎn)品全。7月16日,中科曙光旗下曙光節(jié)能技術(shù)(北京)股份有限公司(以下簡稱“曙光節(jié)能”)就攜帶與數(shù)據(jù)中心功率密度、計算模組相對應(yīng)的諸多產(chǎn)品解決方案亮相,滿足不同行業(yè),不同場景用戶需求。
三是前瞻性。不僅能承接現(xiàn)在,還面向未來,現(xiàn)在曙光擁有的“液冷”核心專利超過40項,此外還有40項“液冷”相關(guān)專利提交申請。比如C8000刀片式計算模組就依托 “全浸沒液冷”技術(shù),可以使 PUE值達到1.05及以下,相比傳統(tǒng)風(fēng)冷數(shù)據(jù)中心可以節(jié)電超過30%。
從機房到數(shù)據(jù)中心的演進
如果回溯最早的數(shù)據(jù)中心,應(yīng)該是六十年代的機房,那時候一間屋子的計算機處理能力,放到現(xiàn)在一臺筆記本電腦就搞定了。
曙光節(jié)能總經(jīng)理何繼盛
曙光根據(jù)數(shù)據(jù)中心發(fā)展做過一個劃分,六十年代出現(xiàn)的機房可以稱作第一代數(shù)據(jù)中心,主要應(yīng)用是大型科研計算,每天工作8小時,因為透風(fēng)度不好,只是關(guān)注潔凈度,在機房建設(shè)上沒有統(tǒng)一的標(biāo)準(zhǔn)。
隨著服務(wù)器形態(tài)的變化,用于商務(wù)處理的塔式服務(wù)器出現(xiàn),也有了專用的機柜、專門的UPS來保障服務(wù)器供電的穩(wěn)定性,數(shù)據(jù)中心也有了空調(diào)通過自然的對流進行冷凍,這個時期算第二代數(shù)據(jù)中心。
前四代數(shù)據(jù)中心運行和維護特點
2000年后互聯(lián)網(wǎng)開始蓬勃發(fā)展,數(shù)據(jù)中心繼續(xù)向第三代演進,機架服務(wù)器開始流行,有了空調(diào)的對流通道,數(shù)據(jù)中心的建設(shè)朝著規(guī)范化、標(biāo)準(zhǔn)化發(fā)展,在這個時期,擁有幾百甚至上千機柜的數(shù)據(jù)中心就算比較大了。
隨著云計算的發(fā)展,公有云、行業(yè)云的大數(shù)據(jù)中心應(yīng)用單體量增加,數(shù)據(jù)中心的建設(shè)理念發(fā)生變化,最典型的是數(shù)據(jù)中心的建設(shè)與IT設(shè)備結(jié)合更緊密,開始出現(xiàn)冷通道的精細(xì)化組織管理以及便捷空調(diào)的應(yīng)用。
與此同時,每一代數(shù)據(jù)中心的功率密度不斷提升,能耗不斷降低。
功率密度如果用機架衡量的話,第二代數(shù)據(jù)中心的機柜功率密度是1-2千瓦;第三代數(shù)據(jù)中心典型的功率密度大概在3-5千瓦。云計算應(yīng)用使得數(shù)據(jù)中心朝著單體面積大、功率高、維護簡單的趨勢發(fā)展,云計算時代主流的密度5-8千瓦。
未來,第五代數(shù)據(jù)中心將會于有哪些創(chuàng)新模式?
在曙光節(jié)能總經(jīng)理何繼盛看來,現(xiàn)在,數(shù)據(jù)中心基礎(chǔ)設(shè)施面臨更高要求:更高密度、更快的建設(shè)速度、更低的能耗、更高的可用性、更智能的監(jiān)控管理系統(tǒng)。
現(xiàn)在,數(shù)據(jù)中心進入5.0時代,除了具備標(biāo)準(zhǔn)與模塊化特點外,追求低能耗與“高計算密度”成為新的趨勢。
5.0時代 液冷成為主潮流
從中國數(shù)據(jù)中心節(jié)能技術(shù)委員會秘書長呂天文分享的數(shù)據(jù)來看,目前全國數(shù)據(jù)中心的耗電量已連續(xù)8年超過12%的速度增長,預(yù)計2020年總耗電量將達到2962億千瓦(2018年中國城鄉(xiāng)居民用電總量為9685億千瓦)。因此數(shù)據(jù)中心節(jié)能問題,引發(fā)包括政府在內(nèi)的廣泛關(guān)注。
在中國市場,現(xiàn)階段多數(shù)數(shù)據(jù)中心仍采用風(fēng)冷,而國外很多用戶則是進入到了液冷時代,用戶主要是大型數(shù)據(jù)中心和超級計算中心。
比如美國國家安全局、美國空軍、CGG、ORANGE、VIENNA 科學(xué)計算集群、日本東京工業(yè)大學(xué)已經(jīng)使用了Green Revolution Cooling 的浸沒式液冷技術(shù), 美國AFRL、ERDL、法國TUTAL、歐洲AWE 等使用了SGI 的液冷服務(wù)器。
現(xiàn)在,液冷數(shù)據(jù)中心變成非常炙手可熱的話題,也變成行業(yè)公認(rèn)的未來數(shù)據(jù)中心的趨勢。
首先,液冷和空氣制冷相比,液冷具備超強冷卻能力。以前的空氣制冷到達點是機柜,而液冷可以實現(xiàn)部件級,直接對最高發(fā)熱的部件、集中熱點進行制冷,形成精確制冷或者部件級制冷。
第二,降低數(shù)據(jù)中心環(huán)境的噪音。采用液冷數(shù)據(jù)中心可以實現(xiàn)無壓縮機無風(fēng)扇,從而實現(xiàn)靜音機房。
第三,液體可以給元器件帶來更穩(wěn)定的工作溫度,從而保證元器件的工作性能更高。比如手工做溫度限制的CPU,在穩(wěn)定的環(huán)境之下可以實現(xiàn)超水平運行。
僅在2015年,全中國數(shù)據(jù)中心的耗電量就高達1000億度,年耗電量超過全社會用電量的1.5%,相當(dāng)于整個三峽水電站一年的發(fā)電量。
對于整個數(shù)據(jù)中心來講,提高數(shù)據(jù)中心能效,可以實現(xiàn)全地域、標(biāo)準(zhǔn)化的布置,可以實現(xiàn)全年的自然冷卻,PUE最低可以做到最接近的理論值。
不同場景下的前瞻布局
針對不同的IT應(yīng)用系統(tǒng),不同的數(shù)據(jù)中心有自己不同的特色,專業(yè)廠商在產(chǎn)品布局的時候都會秉承“傳承過去,向未來演進”的理念。
曙光節(jié)能就按照客戶的功率密度,制造出滿足中低密度計算需求的風(fēng)冷標(biāo)準(zhǔn)模組、滿足高密度計算的液冷冷板模組,以及滿足救災(zāi)、戶外勘探等特種作業(yè)環(huán)境需求的“集裝箱式”計算模組。
1
針對中低密度的數(shù)據(jù)中心
曙光節(jié)能會有機柜池級微模塊C2000系列,是風(fēng)冷時代池級模塊比較廣泛應(yīng)用的比較有特色的產(chǎn)品,適用于5-15千瓦的功率范圍的應(yīng)用場景,而排級微模塊C1000系列是風(fēng)冷時代最高能效比的一種產(chǎn)品形態(tài)。
另外在針對中低密度數(shù)據(jù)中心,曙光節(jié)能有機柜級微模塊C500系列,針對微型數(shù)據(jù)中心,可以比較廣泛的應(yīng)用在金融、廣電、醫(yī)療等等分支機構(gòu)里面。
2
集裝箱數(shù)據(jù)中心
集裝箱數(shù)據(jù)中心算是特種應(yīng)用數(shù)據(jù)中心的形態(tài),曙光推出集裝箱級微模塊C9000系列,可是適用于野外需求,不具備土建、蓋數(shù)據(jù)中心樓的條件同時希望數(shù)據(jù)中心能夠遷移。
典型的案例是貴州的天眼望遠(yuǎn)鏡,在整體配套基地還沒建成前,就有大量的數(shù)據(jù)需要處理,采用集裝箱數(shù)據(jù)中心進行數(shù)據(jù)處理再合適不過。
現(xiàn)在曙光節(jié)能的計算模組已被電力、氣象、金融、通信、互聯(lián)網(wǎng)企業(yè)、高校研究院等廣泛采用,曙光提供的“低能耗”、“高密度”計算節(jié)點數(shù)以萬計。
隨著數(shù)據(jù)中心機柜的標(biāo)準(zhǔn)與模塊化普及,短時間在偏遠(yuǎn)地區(qū)大規(guī)模建設(shè)數(shù)據(jù)中心成為可能。但對于90%企業(yè)、機構(gòu)來說,配置的‘數(shù)據(jù)中心’遠(yuǎn)離用戶、遠(yuǎn)離主干網(wǎng)絡(luò)、失去運維的便捷性是無法接受的。
而除了面向中低密度的應(yīng)用,曙光節(jié)能面向高密度的是30千瓦以上的方案更具前瞻性。2012年開始,曙光便探究降低數(shù)據(jù)中心能耗的核心技術(shù)——“全浸沒式液冷”。給用戶提供便捷、標(biāo)準(zhǔn)、靈活的節(jié)能、高計算密度數(shù)據(jù)中心解決方案。
堅定前行者的先發(fā)優(yōu)勢
現(xiàn)階段,液冷服務(wù)器主要分為冷板式冷卻液冷服務(wù)器、全浸沒式冷卻液冷服務(wù)器。在國內(nèi),聯(lián)想、新華三、華為均設(shè)計冷板式液冷技術(shù)產(chǎn)品,互聯(lián)網(wǎng)領(lǐng)域的阿里推出了浸沒式液冷服務(wù)器,而曙光公司則是冷板式、全浸式均有生產(chǎn)。
TC4600E—LP液冷服務(wù)器
通過對CPU和內(nèi)存覆蓋冷板,液體直接帶走這兩個高發(fā)熱部件的熱量。主板通過冷水把CPU和內(nèi)存的熱量帶走,水溫升大概是10度,帶走熱量之后是45度,之后經(jīng)過自然的冷卻又變成35度水回來,繼續(xù)冷卻。
可以說,冷板式的液冷系統(tǒng)改變了整個服務(wù)器的制冷形態(tài),帶給傳統(tǒng)風(fēng)冷數(shù)據(jù)中心所不具備的優(yōu)勢條件,省卻服務(wù)器80-90%的發(fā)熱,使得耗能可以大幅度下降,PUE可以實現(xiàn)1.2以下,同時又給CPU和內(nèi)存提供了更好的工作環(huán)境和工作溫度。
2015年曙光在國內(nèi)正式推出冷板式液冷服務(wù)器以來,廣泛應(yīng)用到各個行業(yè)。
而全浸沒液冷,可以說是有很多技術(shù)的無人區(qū),在冷板液冷服務(wù)器量產(chǎn)以后三年,曙光推出全浸沒基礎(chǔ)設(shè)施配套解決方案C8000系列,滿足了超高密度數(shù)據(jù)中心的需求。
曙光“全浸沒液冷”計算模組—C8000
全浸沒液冷總體方向比冷板式更進一步,在能效方面,給元器件提供更可靠和徹底的工作溫度。冷板式的服務(wù)器是的風(fēng)冷和液冷混合,浸沒式則是完全去除空調(diào)的全液冷的數(shù)據(jù)中心。
在全浸沒液冷領(lǐng)域,曙光在能效、性能、噪音方面做到極致。據(jù)何繼盛介紹,曙光于2015年推出國內(nèi)首款標(biāo)準(zhǔn)化量產(chǎn)的冷板式液冷服務(wù)器,并在當(dāng)年完成國內(nèi)首個冷板式液冷服務(wù)器大規(guī)模應(yīng)用項目,2017年又交付了國內(nèi)首套商用全浸沒液冷服務(wù)器,并在今年完成了國內(nèi)首個浸沒式液冷服務(wù)器大規(guī)模應(yīng)用項目。
平穩(wěn)運行中的曙光“全浸沒液冷”服務(wù)器群(局部)
隨著5G時代到來,在用戶密集區(qū)配置高計算密度的邊緣數(shù)據(jù)中心正成為趨勢。曙光液冷“數(shù)據(jù)中心”計算模組,為用戶在密集地區(qū)的“邊緣計算”節(jié)點配置,提供了可靠、節(jié)能的系統(tǒng)解決方案。這也將加速5G時代的云游戲、云3D、云渲染設(shè)計等高交互、復(fù)雜計算場景的實現(xiàn)。
而從整個行業(yè)來看,數(shù)據(jù)中心對節(jié)能降耗的要求越來越高,未來,“液冷”技術(shù)是降低數(shù)據(jù)中心能耗的最可靠與可行的方案,毋庸置疑將成為國內(nèi)外廠商重點爭取的市場,而曙光的堅定前行和先發(fā)優(yōu)勢逐步體現(xiàn),通過對技術(shù)的積累、產(chǎn)品的規(guī)劃和項目的落地,加速全國“數(shù)據(jù)中心”步入“液冷”時代。