如今，超大規(guī)模數(shù)據(jù)中心已逐漸成為流行趨勢。據(jù)SynergyResearch的一份最新報告顯示，2017年全球范圍內的超大規(guī)模數(shù)據(jù)中心已經超過390個，比一年前的300個增加了一大批，由此可見，超大規(guī)模數(shù)據(jù)中心前景十分廣闊。未來，超大規(guī)模數(shù)據(jù)中心很可能會從虛擬機轉移到容器, 并提供 "無服務器" 計算模型。
圖1顯示，到2020年超大規(guī)模數(shù)據(jù)中心的預期增長規(guī)模, 以及預期駐留在這些數(shù)據(jù)中心的服務器的百分比。到 2020年, 市面售出的服務器中預計將有47%被賣給了超大規(guī)模數(shù)據(jù)中心客戶。
對于諸如 HPE 和 Dell 等傳統(tǒng)硬件提供商, 這種情況則預示其客戶群體變窄了，也意味著這些客戶將具有更高的技術洞察力并密切關注著技術趨勢。HPE 和戴爾將會發(fā)現(xiàn)，他們面向大規(guī)模數(shù)據(jù)中心客戶的銷售，將被一些沒有名頭的白箱供應商替代，后者可以滿足客戶的所需。顯然，一臺服務器配置已經不再包打天下了。開放計算，將日益成為降低成本和提高效率的重要途徑。
圖1 資料來源: Synergy Research研究機構發(fā)布的思科全球云2015–2020指數(shù)。
新的網絡拓撲為超大規(guī)模數(shù)據(jù)中心通信量帶來更高的帶寬。Facebook 已經開放了其基于商品的交換機設計規(guī)范, 并向世界展示了SDN與網絡功能虛擬化的諸多優(yōu)勢。
對于超大規(guī)模數(shù)據(jù)中心運營商來說, 在電力交付方面的創(chuàng)新以及新的冷卻方法增加其設施中的機柜功率密度, 同時提高了整個基礎設施的效能，產生極低的 PUE值。
什么是超大規(guī)模數(shù)據(jù)中心？
如今，超大規(guī)模數(shù)據(jù)中心已是威震八方，實際上它起源于上世紀八九十年代的互聯(lián)網熱潮。
微軟因MS-DOS的火爆而成功蛻變成如今身價900億美元的科技巨頭, 其業(yè)務也從軟件套裝發(fā)展到 SaaS (Office 365) 與PaaS (Azure)，這背后離不開其全球數(shù)據(jù)中心的布局；
1994成立的亞馬遜公司則是從一家網上書店起家，如今成為身價逾1700億美元的電子商務巨鱷, 同時也是世界上最大的云服務提供商；
Facebook 是全球最大的基于社交媒體發(fā)展而來的企業(yè), 在全球擁有眾多的大型數(shù)據(jù)中心。阿里巴巴則是中國本土的電商，對標美國亞馬遜, 它正在擴大其數(shù)據(jù)中心的版圖，并已走出了國界；
谷歌則起源于上世紀90年代的一個研究項目, 并迅速上升成為最大的互聯(lián)網搜索提供商，該公司也同樣依賴于分布在全球各地的海量數(shù)據(jù)中心，以滿足所有人在進行網絡搜索時對快速性能的需求。
與此同時，行業(yè)還有另外一些超大規(guī)模數(shù)據(jù)中心占有者，實現(xiàn)了快速增長，包括蘋果、騰訊、百度和EBay。
大多數(shù)超大規(guī)模數(shù)據(jù)中心構建者都擁有自己的基礎設施。最初由HPE、Dell EMC和思科生產的硬件支撐的超大規(guī)模數(shù)據(jù)中心運營商，正逐漸轉向中國大陸和臺灣地區(qū)的原始設備制造商，諸如廣達、英華、緯穎科技、富士康、英業(yè)達、超微電腦與浪潮等，以尋求更為低廉的成本，更有針對性開放計算和網絡解決方案。
功率密度和冷卻系統(tǒng)對超大規(guī)模設計的影響
在過去的200年中，數(shù)據(jù)中心行業(yè)的機柜功率密度與計算、存儲密度相當。如今，單一機柜中出現(xiàn)了越來越多的服務器和硬盤，同時采用的是橫向擴展方式而不是擴展方式。一個典型的IT機柜的能耗曾是1-3千瓦，而現(xiàn)在機柜內常見的負載為20-40千瓦。美國國家可再生能源實驗室則宣稱，30千瓦的機柜如今已是十分普及。
據(jù)谷歌公司負責全球基礎設施業(yè)務的Joe Kava透露，谷歌在2015年使用了5.7太瓦時的能源?？ㄍ哒f：“數(shù)據(jù)中心的能耗占去了大半，這也是谷歌緣何能成為云計算園區(qū)可再生能源的頭號買家。”
基于英特爾、AMD、Nvidia和Arm等巨頭最新芯片技術的新服務器，每秒可提供前所未有的高運算速度和每瓦運作次數(shù)。與此同時，大多數(shù)市場中的數(shù)據(jù)中心地產成本持續(xù)上漲，導致運營商尋求更高的IT機柜，試圖更有效地利用空間。這樣一來，一排排滿是IT設備的高大機架，不可避免地產生了散熱問題。數(shù)據(jù)中心架構師必須盡早選擇空氣或水作為冷卻介質。一些設施則同時部署兩種方案。
高效的空氣冷卻系統(tǒng)需要遵守各種設計原則：
交替設備的方向，來創(chuàng)建天然冷通道或熱通道。
在空機柜空間中使用盲板，以確保冷空氣不會泄漏到熱通道中。
采用熱通道或冷通道遏制系統(tǒng)。
精心設計的設施中可實現(xiàn)空氣的自然對流——冷空氣下沉到地面，暖空氣升到天花板。因此，對冷通道采用高架冷空氣服務，并在機柜背面提升天花板或煙囪的高度，以達到在設備中對流的效果。
絕熱冷卻依靠通過體積膨脹引起的氣壓變化來減少熱量的過程。絕熱過程已被用于數(shù)據(jù)中心，以促進利用水和電的“自由冷卻”方法。
當機柜功率和熱密度超過以合理速度流動空氣的冷卻能力（高達幾百CFM）時，液體冷卻方式就派上了用場。液冷有多種形式：冷卻門、冷板、直接噴霧冷卻到芯片上等。
“在高性能計算領域，一切都將轉向液冷，”Eurotech技術總監(jiān)Paul Arts說道，“在我們的設想中，這是達到百萬兆級的唯一途徑。我們認為這才是新一代高性能計算的開始，潛力無限。如今只是在革命的最開始。”
最終，制冷系統(tǒng)的決策將取決于數(shù)據(jù)中心將運行的參數(shù)：硬件更換/修理的頻率、可用技工的數(shù)量、可維修時間的長短、所需的電能效率水平等。
驅動未來需求
許多論文都記錄了數(shù)據(jù)中心行業(yè)在21世紀初日益增長的電力需求。假如當初摩爾定律和服務器虛擬化沒有影響數(shù)據(jù)中心行業(yè)的發(fā)展，電力總需求的增長可能會超出美國總產能的10％。所幸IT行業(yè)身先士卒，率先開啟了節(jié)能減排，使IT系統(tǒng)變得更加節(jié)能。英特爾和AMD限制了每個服務器芯片（CPU）的功耗，而伴隨著每代CPU的產生，廠商們又煞費苦心，一方面保持了現(xiàn)有包絡功率，另一方面又改進了每個周期的指令，并減少了每條指令的功率。
展望未來的話，許多超大規(guī)模數(shù)據(jù)中心運營商正致力于為其設施提供可再生能源。首先，通過購買可再生能源證書（RECs），并采用補償手段（從當?shù)毓檬聵I(yè)購買水力發(fā)電等綠色能源），許多超大規(guī)模數(shù)據(jù)中心如今都已采用燃料電池或太陽能板上現(xiàn)場生成的能源。例如，蘋果和Facebook已經有多地的數(shù)據(jù)中心依靠太陽能板運行。微軟在懷俄明州擁有沼氣工廠，從Pilot Hill Wind購買風力發(fā)電；并在全球許多設施生成太陽能。亞馬遜在德克薩斯州建立了一個253兆瓦的風力發(fā)電場，而谷歌從2017年起，讓所有數(shù)據(jù)中心都用上可再生能源。“我們是全球最大的可再生能源的企業(yè)級買家，”Google技術基礎設施高級副總裁Joe Kava說。
至于究竟哪種類型的電力基礎設施最適合超大規(guī)模數(shù)據(jù)中心，整個IT行業(yè)眾說紛紜。此前Facebook選擇的是480V/277V交流電源的機柜以及IT負載12V直流電源的機柜。在最近對開放計算的貢獻中, Google 建議 48V DC 為服務器供電，直接轉換點負載電源48V，滿足主板需要運行 CPU, 內存等組建所需的電壓與電流。在 Google 的實踐中, 從電源插座到機架的電源是 480/277V AC (或400 V /230 V AC), 電源架上將交流電源轉換為直流電源的功率托架上有三相整流器。微軟則采用了480/277V的機柜電源和277V 服務器。
對于那些試圖通過發(fā)電設備運行數(shù)據(jù)中心的公司來說, 現(xiàn)場生產直流電源并傳輸?shù)綑C架上是很有意義的。在這種情況下, 將 380V dc 帶到機架上, 并將直流-直流轉換器運行到48V 是一種選擇?；蛘?，它甚至可以將48V 帶到機架上, 這取決于電源的距離。
每個數(shù)據(jù)中心都是為了實現(xiàn)功能性、時延性、運行時間、成本和價值目標而構建的，這些目標與電源傳輸基礎設施密切相關，而電源傳輸基礎設施將很大程度上影響到數(shù)據(jù)中心運行的軟件棧的穩(wěn)健性和靈活性。未來的超大規(guī)模數(shù)據(jù)中心很可能會從虛擬機轉移到容器, 并提供 "無服務器" 計算模型。
關于交流與直流電源的爭論將繼續(xù), 而新的技術, 如機架上的燃料電池將會越來越流行。未來，超大規(guī)模數(shù)據(jù)中心采用可再生能源，或將成為業(yè)主和運營商的強制性要求。
（原標題：超大規(guī)模數(shù)據(jù)中心硬件成本降下來，能耗怎么破？）
