亞馬遜云服務(wù)（AWS）是全球最大的云服務(wù)提供商，目前它在全球擁有24個地理區(qū)域，77個可用區(qū)（AZ）。如此龐大的云基礎(chǔ)設(shè)施是如何運維的，一直以來都備受業(yè)界關(guān)注，而多年來AWS很少談及這個話題。
在今年的亞馬遜re:Invent在線峰會上，AWS首次揭開了自己云基礎(chǔ)設(shè)施的神秘面紗，從數(shù)據(jù)中心的供電管理系統(tǒng)，云數(shù)據(jù)中心的延遲，到芯片的研發(fā)等等，雖然只是冰山一角，但可以從不同的視角更加直觀、清晰的了解AWS是如何修煉“內(nèi)功”的。
讓深度睡眠不再“奢侈”
在AWS全球基礎(chǔ)架構(gòu)和客戶支持資深副總裁Peter DeSantis看來，“AWS保持如此龐大、復(fù)雜的云基礎(chǔ)設(shè)施的穩(wěn)定性和可靠性沒有捷徑，是靠一步一步的積累走出來的，必須對每個細(xì)節(jié)進(jìn)行研究”。
對于負(fù)責(zé)數(shù)據(jù)中心運維的工程師而言，充分的睡眠是相當(dāng)“奢侈”的東西，因為他們會時刻收到來自數(shù)據(jù)中心基礎(chǔ)設(shè)施中的各項報警郵件、短信等信息，Peter也不例外。
Peter通過數(shù)據(jù)中心的配電系統(tǒng)和UPS管理來展示其如何通過良好的數(shù)據(jù)中心運維手段來保證自己的睡眠質(zhì)量，十分形象。圖上的橫軸為云數(shù)據(jù)中心的復(fù)雜度，縱軸是破壞半徑，當(dāng)AWS云數(shù)據(jù)中心的發(fā)電機(jī)、配電系統(tǒng)和UPS復(fù)雜度越高，破壞半徑系數(shù)越高的時候，Peter的睡眠質(zhì)量就處于Insomnia的失眠狀態(tài)；而當(dāng)Peter通過優(yōu)化AWS云數(shù)據(jù)中心基礎(chǔ)設(shè)施之后，其睡眠質(zhì)量得到了明顯改善，處于了Deep Sleep深度睡眠的狀態(tài)。
Peter是如何做到的？總體來看，關(guān)于AWS云數(shù)據(jù)中心運維可總結(jié)為可靠可控，降低管理復(fù)雜度。
AWS云數(shù)據(jù)中心的供電系統(tǒng)由發(fā)電機(jī)組、配電系統(tǒng)和UPS等組件構(gòu)成。AWS為其發(fā)電機(jī)組配備了冗余的發(fā)電機(jī)來提升可靠性。
相比于發(fā)電機(jī)可以通過冗余來作為基礎(chǔ)的思考，配電系統(tǒng)和UPS就要復(fù)雜的多。“不論是GE、ABB還是施耐德，它們的配電開關(guān)系統(tǒng)功能都很完善，但挑戰(zhàn)是對于AWS這樣的超大規(guī)模云數(shù)據(jù)中心而言，并不是每個功能都適用”，Peter坦言。
說白了就是配電開關(guān)的嵌入式軟件束縛了AWS數(shù)據(jù)中心運維的手腳，而AWS憑借多年的運維經(jīng)驗很清楚哪些功能適合，哪些根本不需要。比如有的功能，AWS不需要；而有的，AWS有更加優(yōu)化的方案。
Peter總結(jié)了三個方面：第一，當(dāng)發(fā)現(xiàn)軟件系統(tǒng)的Bug，AWS工程師的響應(yīng)很快，而等配電供應(yīng)商去修改周期更長；第二，有些功能與實際用途不匹配；第三，AWS需要經(jīng)常優(yōu)化自己的管理系統(tǒng)、流程等，嵌入式軟件無法保證可控性。
基于此，AWS重寫了配電控制系統(tǒng)，從而為其配電系統(tǒng)帶來了可控性，運維也更加簡單。
同樣對UPS的控制系統(tǒng)，AWS也通過重寫UPS控制系統(tǒng)來滿足自身對功能的需求。Peter特別介紹了如何為UPS電池減重，從而大大降低了UPS電池管理的復(fù)雜度。
標(biāo)準(zhǔn)的一兆瓦UPS電池重達(dá)12000磅，AWS重新定制了UPS電池，做成了5000瓦一個，可插拔的放入到機(jī)架中，并通過專有控制系統(tǒng)來對UPS進(jìn)行管理。這樣做的好處的顯然的，“UPS電池單元體積和重量降低后，破壞半徑會降低，可插拔的方式讓工程師可秒級換掉損壞的UPS，運維復(fù)雜性大大降低”，Peter說。
“這些是AWS設(shè)計基礎(chǔ)架構(gòu)中最重要的思維模式，思考它的破壞半徑大概有多大，同時它的復(fù)雜度有多大，從這兩個維度想辦法去提升運維穩(wěn)定性”，Peter總結(jié)說。這也讓AWS云數(shù)據(jù)中心的UPS的冗余系統(tǒng)擁有了7個9的可用性，遠(yuǎn)超行業(yè)的平均水平。
“一毫秒”是關(guān)鍵
從電商業(yè)務(wù)起家的亞馬遜，最早的數(shù)據(jù)中心位于美國西雅圖，隨著業(yè)務(wù)的發(fā)展，亞馬遜開始在美國多地建立數(shù)據(jù)中心，以滿足不斷增長的數(shù)據(jù)規(guī)模和業(yè)務(wù)需要。
在數(shù)據(jù)中心的地理位置選擇上，亞馬遜會綜合考慮諸多自然條件因素，比如雷電、龍卷風(fēng)、海嘯、地震等，這就使得數(shù)據(jù)中心的之間的距離較遠(yuǎn)。Peter說，早期亞馬遜的數(shù)據(jù)中心之間有70毫秒的延遲，如何將數(shù)據(jù)中心之間的延遲降低？于是，亞馬遜考慮到數(shù)據(jù)中心之間數(shù)據(jù)傳輸，以及自然條件的因素，找到了平衡的區(qū)域AZ概念，即在同一區(qū)域部署多個數(shù)據(jù)中心。
于是亞馬遜在2003年開始著手考慮云業(yè)務(wù)AWS的時候，首次提出了區(qū)域（Region）和可用區(qū)（AZ）的概念。區(qū)域英文名稱Region，是指云提供商的基礎(chǔ)設(shè)施所覆蓋的范圍，比如你的云數(shù)據(jù)中心位于北美或者亞太，抑或歐洲。在《Gartner的云基礎(chǔ)設(shè)施和平臺服務(wù)魔力象限》報告中，如果要參與評估，會要求云提供商在說明格式中表述關(guān)于位置的要求：“按國家、公司開展業(yè)務(wù)所用的語言和可提供技術(shù)支持的語言所劃分的數(shù)據(jù)中心位置，供應(yīng)商必須在至少三個大洲擁有經(jīng)過ISO27001審核（或同等標(biāo)準(zhǔn)）的數(shù)據(jù)中心。”所以在一個區(qū)域，云提供商會建設(shè)一組數(shù)據(jù)中心。
可用區(qū)英文簡稱AZ是指一個數(shù)據(jù)中心，即在一個區(qū)域（Region）中可包含多個可用區(qū)（AZ），AWS為每個區(qū)域標(biāo)配至少三個可用區(qū)，比如AWS位于中國的北京區(qū)域（光環(huán)新網(wǎng)運營）和寧夏區(qū)域（西云數(shù)據(jù)運營），至少就有6個數(shù)據(jù)中心。
“AZ之間的距離在若干英里或幾十英里之間，這樣的距離是保持?jǐn)?shù)據(jù)中心延遲在一毫秒的關(guān)鍵”，Peter說。
也就是說在保證一毫秒關(guān)鍵的前提下，讓數(shù)據(jù)中心之間的距離拉遠(yuǎn)，來減小數(shù)據(jù)中心的相互干擾，甚至是雷電等不可預(yù)測因素同時給相近的數(shù)據(jù)中心帶來相互影響。
在AZ的設(shè)計上，AWS為數(shù)據(jù)中心配置獨立的網(wǎng)絡(luò)，供配電系統(tǒng)，配線系統(tǒng)等。
所以，AZ之間盡量的互不干擾，獨立系統(tǒng)，以及低延遲等嚴(yán)苛因素的配置，不僅帶來的更好的冗余，也將破壞半徑的影響再次降低。
如圖中所示，一個AWS區(qū)域，配備了3個獨立的可用區(qū)，以及兩個網(wǎng)絡(luò)接入點（Transit Center）。
“目前，AWS在24個地理區(qū)域擁有77個可用區(qū)，并已公布計劃在澳大利亞、印度、印度尼西亞、日本、西班牙和瑞士新建6個AWS區(qū)域、18個可用區(qū)”，Peter說。
同時，除了可用區(qū)架構(gòu)之外，AWS也會充分考慮人對數(shù)據(jù)中心的影響。AWS數(shù)據(jù)中心執(zhí)行嚴(yán)格的保密制度，“AZ所在的位置是嚴(yán)格保密的，比如所有運往AZ的硬件設(shè)備，都會首先運達(dá)一個中轉(zhuǎn)中心，再由那里運往AZ所在的位置”，AWS大中華區(qū)產(chǎn)品部計算與存儲總監(jiān)周舸如是說。
云端“適用”的芯片設(shè)計
自從2015年亞馬遜收購Annapurna labs后，AWS云上的芯片研發(fā)就在加速奔跑。如今，其自研的Graviton2處理器已經(jīng)上市，同時Nitro系統(tǒng)也演進(jìn)了到了第四代。
“AWS是目前在云端唯一能夠提供支持英特爾、AMD、英偉達(dá)和ARM處理器的云提供商，Nitro系統(tǒng)起了非常關(guān)鍵的作用”，Peter說。
正是如此廣泛的芯片支持，使得Amazon EC2計算實例，從2019年的270種跨越到了現(xiàn)在超過400種，并不斷給用戶帶來更具性價比的計算實例選擇。
在今年的re:Invent大會上，AWS發(fā)布了Amazon EC2 Mac實例，來支持2800萬Apple開發(fā)者在云端構(gòu)建macOS環(huán)境，并可以動態(tài)擴(kuò)容，按需付費；基于AWS Graviton 2處理器的C6gn實例，可提供100 Gbps的網(wǎng)絡(luò)性能，與當(dāng)前基于x86的同類實例相比，性價比提高了40%。
而且，在Nitro系統(tǒng)的加持下，AWS專門為機(jī)器學(xué)習(xí)推出了滿足模型訓(xùn)練和推理的高性價比芯片，比如使用AWS自研AWS Inferentia芯片的Inf1實例，為機(jī)器學(xué)習(xí)推理帶來最優(yōu)的性價比；以及剛剛發(fā)布的全新機(jī)器學(xué)習(xí)訓(xùn)練芯片AWS Trainium，與標(biāo)準(zhǔn)的AWS GPU實例相比，可帶來30%的吞吐量提升，以及降低45%的單次引用成本。
為什么AWS自研了基于Arm架構(gòu)的芯片后，Graviton2很快在云端獲得了諸多用戶的青睞？
“Graviton 2處理器跨越到了更多的領(lǐng)域，激活了整個生態(tài)系統(tǒng)，很多基于Linux系統(tǒng)的應(yīng)用都可以快速、簡單的轉(zhuǎn)到Graviton上”，Peter說。
AWS在芯片設(shè)計上有自己的理解，“AWS要做的是真正滿足云端性能而且省電的處理器，這是關(guān)鍵”，Peter解釋說，“所以我們自研處理盡量做到多核，以及滿足微服務(wù)的發(fā)展。”
近年來，AWS在芯片上的每一次迭代，都會給用戶帶來更優(yōu)的計算實例性價比，性能提升的同時，整體成本也大幅降低。
在給用戶帶來高性價比芯片的同時，通過自研芯片的發(fā)展，AWS大大降低了其云數(shù)據(jù)中心的碳排放，降幅達(dá)88%。
結(jié)語
Peter還提及了數(shù)據(jù)中心采購供應(yīng)鏈的多元化，以及數(shù)據(jù)中心的可再生能源對AWS云基礎(chǔ)設(shè)施的影響。在2015年，AWS云數(shù)據(jù)中心中4個關(guān)鍵組件的供應(yīng)商來自4個國家和地區(qū)的29個供應(yīng)商，而在2020年已經(jīng)變成7個國家和地區(qū)的86個供應(yīng)商，多元化夯實了AWS抵御風(fēng)險的能力；同時AWS也積極擁抱再生能源，如今的規(guī)模已經(jīng)達(dá)到每年6.5GW，并承諾在2025年實現(xiàn)100%使用再生能源。
