近年來,京東云快速崛起。在市場調(diào)查公司 IDC 的《中國公有云服務(wù)市場(2019 第一季度) 跟蹤》,京東云位列中國公有云 IaaS 市場第九名;在Forrester 評的 2018 年 Q3 中國全棧公有云開發(fā)平臺廠商中,京東云獲卓越表現(xiàn)者;在艾瑞的《2019 年中國企業(yè)級 SaaS 行業(yè)研究報告》中,京東云憑借電商云 SaaS 產(chǎn)品,位列行業(yè)垂直圖譜“零售電商”區(qū)域首位;而在賽迪顧問的《2018—2019年中國政務(wù)云市場研究年度報告》中,京東云躋身領(lǐng)導(dǎo)者象限。
自 2016 年 4 月京東云正式商用以來,京東云短短三年時間就在 IaaS、PaaS和 SaaS 全棧云服務(wù)全面發(fā)力,同時涉及 IDC 業(yè)務(wù)、云計算業(yè)務(wù)和綜合業(yè)務(wù)等全頻段服務(wù),為用戶提供包含公有云、私有云、混合云、專有云在內(nèi)的全場景服務(wù),以及跨行業(yè)的全生態(tài)云服務(wù),形成了從基礎(chǔ)平臺搭建、業(yè)務(wù)咨詢規(guī)劃到業(yè)務(wù)平臺建設(shè)及運(yùn)營等全產(chǎn)業(yè)鏈的云生態(tài)格局,為用戶提供一站式全方位的云計算解決方案。京東集團(tuán)還在推動集團(tuán)業(yè)務(wù)線賦能京東云,涉及區(qū)塊鏈、AI、AIoT、物流、金融和智能城市等。
在過去的 18 個月里,京東云的營收達(dá)到了三位數(shù)的增長, 10 倍于行業(yè)增速,現(xiàn)在已有 230 多款自研產(chǎn)品和服務(wù),且還在持續(xù)的增長中,京東云目前已在國內(nèi) 30 多個城市落地,生態(tài)合作伙伴超過 2500個,每月更新注冊用戶目前已上升到62萬多。而在這一切的背后支撐,離不開京東云數(shù)據(jù)中心。在全國范圍內(nèi),京東云公有云目前已完成 4 個區(qū)域 、10 個可用區(qū)(華北北京、華東上海、華東宿遷、華南廣州)的整體布局,另有數(shù)十個遍布全國的 IDC 設(shè)施。未來,京東云將積極擴(kuò)展布局自建數(shù)據(jù)中心,滿足合作伙伴數(shù)據(jù)中心轉(zhuǎn)型等多維度需求。
京東云華東宿遷數(shù)據(jù)中心(以下簡稱宿遷數(shù)據(jù)中心)是其首個自營自建的云數(shù)據(jù)中心,宿遷數(shù)據(jù)中心從 2015 年開始建設(shè),總投資 35 億、一期投資 15 億,二期計劃投資 8 至 10 億,現(xiàn)已投入 6 億。京東云的數(shù)據(jù)中心究竟有什么黑科技?又是如何承載每月 62 萬多的更新注冊用戶?2019 年 9 月初,宿遷數(shù)據(jù)中心舉辦了首個開放日,解密京東云高速成長的背后故事。
高可用保障數(shù)據(jù)中心不間斷
熟悉數(shù)據(jù)中心建設(shè)的,都知道數(shù)據(jù)中心等級標(biāo)準(zhǔn)。美國《TIA-942》(數(shù)據(jù)中心的通信基礎(chǔ)設(shè)施標(biāo)準(zhǔn))中針對數(shù)據(jù)中心建設(shè)設(shè)定了標(biāo)準(zhǔn),涉及電纜系統(tǒng)、網(wǎng)絡(luò)、建筑架構(gòu)、電力系統(tǒng)、消防系統(tǒng)、空調(diào)系統(tǒng)、接地系統(tǒng)設(shè)計、電力質(zhì)量等,同時定義了四個級別,最高級的 T4 機(jī)房屬于容錯級別機(jī)房,要達(dá)到99.995%的可用性。
宿遷數(shù)據(jù)中心園區(qū)占地 200 畝左右,由 4 個數(shù)據(jù)中心模塊、一個 ECC 監(jiān)控中心等組成,也就是由 4 個規(guī)模相當(dāng)?shù)脑茢?shù)據(jù)中心模塊和 1 棟綜合大樓等組成,達(dá)到抗震八級水準(zhǔn)。其中,數(shù)據(jù)中心模塊的建筑面積為 6 萬多平米,總機(jī)柜數(shù)1138 個,分別布置在 10 個模塊機(jī)房內(nèi)。建成后,宿遷數(shù)據(jù)中心存儲能力不小于 32EB,計算能力不小于 128 千萬億次每秒。
目前,1#數(shù)據(jù)中心模塊于 2016 年年初投產(chǎn)運(yùn)營,2 期4#數(shù)據(jù)中心模塊計劃2019 年 11 月完成交付。宿遷數(shù)據(jù)中心采用全局 T3 局部 T4 的標(biāo)準(zhǔn)設(shè)計并建造。其中,1#模塊的建設(shè)等級,按國際 T4 建設(shè)標(biāo)準(zhǔn)設(shè)計,具有 30 萬臺服務(wù)器運(yùn)營能力,核心目標(biāo)之一是全力保證負(fù)荷用電的高可靠性,其硬性指標(biāo)包括:雙路 110KV專屬供電、N+1 柴油發(fā)電系統(tǒng)、雙路 UPS 配置,提供連續(xù)12 小時滿載運(yùn)行能力。
其中,雙路 110KV 專屬供電指的雙回路、雙路由的高可靠大工業(yè)生產(chǎn)用電接入,24 小時不間斷供電。宿遷數(shù)據(jù)中心園區(qū)具有專屬的 110KV 開關(guān)站,上一級來自兩個不同的 220KV 變電站專線,在 110KV 開關(guān)站內(nèi)設(shè) 2 臺變壓器,容量滿足整個數(shù)據(jù)中心園區(qū)的最大用電量。當(dāng)兩臺變壓器任意一臺檢修或發(fā)生故障時,另一臺完全滿足園區(qū)內(nèi)所有設(shè)備的正常用電需求。
N+1 柴油發(fā)電系統(tǒng),指的是當(dāng)數(shù)據(jù)中心的兩路市電發(fā)生故障斷電后,就由柴油發(fā)電支撐整個數(shù)據(jù)中心正常運(yùn)行。宿遷數(shù)據(jù)中心現(xiàn)配置了 8 臺 2500KVA 容量的科泰柴油發(fā)電機(jī)系統(tǒng),室外 50m3的地埋儲油罐系統(tǒng),支撐數(shù)據(jù)中心滿載運(yùn)行 24 小時以上。為保證柴油發(fā)電機(jī)系統(tǒng)的正常狀態(tài),宿遷數(shù)據(jù)中心每月都會進(jìn)行啟動測試,每年兩次帶載測試,還與當(dāng)?shù)刂惺秃炗喠斯┯蛥f(xié)議,在接到通知后 12 小時內(nèi)補(bǔ)充柴油,理論上只要柴油不斷,數(shù)據(jù)中心的供電系統(tǒng)也不會間斷。
在柴油發(fā)電與市電切換的窗口期,宿遷數(shù)據(jù)中心也配備了雙路 UPS 電源。柴油發(fā)電機(jī)從啟動到正常運(yùn)行帶載切換大約需要 45 秒,這 45 秒期間所有負(fù)荷由UPS 及蓄電池承擔(dān),從而保證負(fù)荷不間斷運(yùn)行。1#模塊數(shù)據(jù)中心共有 5 千多塊在線式蓄電池運(yùn)行,為整個模塊內(nèi)負(fù)載提供 15 分鐘的供電能力。
保證電力充足供應(yīng)的同時,宿遷數(shù)據(jù)中心也為電力安全進(jìn)行了充分保證,采用了消防系統(tǒng)中比較少見的氣滅鋼瓶。因數(shù)據(jù)中心的特有情況導(dǎo)致不能采用傳統(tǒng)的水噴淋系統(tǒng),要保證火災(zāi)發(fā)生也要不間斷運(yùn)行數(shù)據(jù)中心業(yè)務(wù),由此配置了氣滅系統(tǒng)。宿遷數(shù)據(jù)中心配置的氣滅系統(tǒng)為 IG541 混合惰性氣體,由氮?dú)?50%、氬氣 40%,、二氧化碳 10%的比率混合充裝,所以叫 IG541。
氣滅系統(tǒng)也能成為黑科技的原因是,通常防護(hù)區(qū)空氣中含有大約 21%的氧氣,當(dāng)防護(hù)區(qū)中氧氣降至 15%以下時,大部分可燃物將停止燃燒。而混合氣體能把防護(hù)區(qū)氧氣降至 12.5%,同時又把二氧化碳升至 4%。二氧化碳比例的提高可加快人的呼吸速率和吸收氧氣的能力,從而補(bǔ)償環(huán)境中較低的氧氣濃度。宿遷數(shù)據(jù)中心滅火系統(tǒng)的設(shè)計理念是保證數(shù)據(jù)中心在火災(zāi)中仍能不間斷運(yùn)行,同時盡快滅火且保證對人體的安全無害。
綠色環(huán)保也是京東云數(shù)據(jù)中心的特色。據(jù)介紹,宿遷數(shù)據(jù)中心從最初的概念設(shè)計到施工建造,一直到投產(chǎn)后的運(yùn)營管理,保證數(shù)據(jù)中心年均 PUE≤1.3,在國內(nèi)達(dá)到領(lǐng)先水平。宿遷一年中大部分時間的溫度在 -5~35℃之間,年均氣溫14.2℃,室外設(shè)備被凍結(jié)故障的可能性較小,為了充分利用冬季室外天然冷源進(jìn)行自然冷卻,宿遷數(shù)據(jù)中心的冷凍水系統(tǒng)設(shè)置了板式換熱器,與冷水機(jī)組并聯(lián)。宿遷數(shù)據(jù)中心全年基本可以分為免費(fèi)制冷季和常規(guī)制冷季,全年可以“免費(fèi)”使用自然冷源的時間高達(dá) 180 天以上,直接節(jié)約電費(fèi)數(shù)百萬元以上。
保障業(yè)務(wù)高可靠、高可用
京東云宿遷數(shù)據(jù)中心現(xiàn)有業(yè)務(wù)包括京東云、京東商城、京東金融及市政府業(yè)務(wù)等。在保障數(shù)據(jù)中心不間斷運(yùn)行的同時,宿遷數(shù)據(jù)中心也在不遺余力的保障業(yè)務(wù)的高可靠、高可用。
作為公有云數(shù)據(jù)中心,對外的網(wǎng)絡(luò)連接是業(yè)務(wù)高可靠、高可用的重要基礎(chǔ)。宿遷作為四線城市,原城市網(wǎng)絡(luò)為國家四級環(huán)網(wǎng),不足以支撐公有云數(shù)據(jù)中心的需求。2015 年,京東集團(tuán)宣布在宿遷建設(shè)數(shù)據(jù)中心后,京東云與宿遷市政府通過京東云華東數(shù)據(jù)中心項目向運(yùn)營商爭取,通過精品 OTN 項目將運(yùn)營商網(wǎng)絡(luò)接入國家一級環(huán)網(wǎng),極大提升了宿遷市的生產(chǎn)級應(yīng)用網(wǎng)絡(luò)質(zhì)量。2017年 9 月,宿遷數(shù)據(jù)中心接入南京、無錫國家骨干通信網(wǎng)絡(luò),順利打通了通往華東、華南地區(qū)的通道,另外還實現(xiàn)了北京訪問宿遷經(jīng)由南京變?yōu)榻?jīng)由徐州的光纖傳輸方式。在京東集團(tuán)的大力推動下,宿遷的網(wǎng)絡(luò)傳輸速度已和南京、無錫處于同等級別。
京東云還通過自建 BGP 解決單運(yùn)營商網(wǎng)絡(luò)中斷的問題,與三大 ISP 互為備份、與各 ISP 直連,從而緩解運(yùn)營商大區(qū)間網(wǎng)絡(luò)通信異常問題。而京東云自建BGP 還可以向公有云、私有云、合作伙伴數(shù)據(jù)中心等提供質(zhì)量穩(wěn)定可靠的互聯(lián)網(wǎng)接入服務(wù)。
京東云不斷對數(shù)據(jù)中心的技術(shù)架構(gòu)進(jìn)行升級。目前,京東云數(shù)據(jù)中心的硬件方面采用了2.4 GHz、3.2 GHz主頻的 Intel Xeon Gold 處理器,在此基礎(chǔ)上開發(fā)新一代云主機(jī)、云物理機(jī)、GPU云主機(jī)、GPU云物理機(jī)、云硬盤、原生容器、高可用組等。結(jié)合自建的 BGP 網(wǎng)絡(luò),京東云從容支持了多次京東商城6.18、11.11 等大型的線上活動。
其中京東云二代云主機(jī)所采用最新英特爾至強(qiáng)金牌處理器,浮點計算性能提升 2倍,可以提供超大內(nèi)存云主機(jī),滿足對數(shù)據(jù)交換速度和內(nèi)存容量有極高要求的大型業(yè)務(wù)部署場景。而云主機(jī)的邏輯集合,可以形成高可用組,組內(nèi)主機(jī)分散部署在相互隔離的物理資源上,保障業(yè)務(wù)運(yùn)轉(zhuǎn)不受故障和維護(hù)的影響,組內(nèi)物理資源跨可用區(qū)(AZ)和故障域(FD)分布,支持彈性伸縮。高可用組服務(wù)可保證運(yùn)行 Web 服務(wù)和數(shù)據(jù)庫的云主機(jī)分散在隔離的物理資源上,如果其中一臺物理資源出現(xiàn)故障或維護(hù)升級時,其它 Web 云主機(jī)以及數(shù)據(jù)庫云主機(jī)不受影響,保證業(yè)務(wù)高可用。
京東云數(shù)據(jù)中心還采用了京東云原生容器技術(shù),融合了容器和虛擬機(jī)的優(yōu)點,支持原生容器實例和原生容器 Pod 兩種類型;基于 Docker 鏡像可直接運(yùn)行容器實例或原生容器 Pod,無需管理集群也無需學(xué)習(xí)容器編排工具,即可運(yùn)行容器。由于采用獨(dú)立內(nèi)核技術(shù),基于虛擬機(jī)的隔離性,可避免容器間共享內(nèi)核的安全隱患。此外,還基于 SDN 技術(shù)實現(xiàn)不同租戶間的完全隔離。這樣,京東云面對突發(fā)流量實現(xiàn)了秒級擴(kuò)容,平穩(wěn)、安全地度過了數(shù)次洪峰。
京東云追求為產(chǎn)業(yè)服務(wù),自身業(yè)務(wù)的產(chǎn)業(yè)屬性比較強(qiáng)。對于電商、物流、營銷、安全等產(chǎn)業(yè)場景,京東云在標(biāo)準(zhǔn)化的 IaaS 產(chǎn)品中尋找場景的差異化,以實現(xiàn)極致性能。這包括機(jī)房建設(shè)的行業(yè)標(biāo)準(zhǔn)、審計要求、資源利用率和利用周期,以及配套中間件的優(yōu)化,安全組的配置等等。通過細(xì)致調(diào)優(yōu),京東云確保IDC、網(wǎng)絡(luò)、云產(chǎn)品一系列的 IaaS 資源及架構(gòu)都為產(chǎn)業(yè)服務(wù)。
據(jù)介紹,京東集團(tuán)內(nèi)的零售、企業(yè)業(yè)務(wù)事業(yè)部、企業(yè)信息化、廣告、AI、大數(shù)據(jù),搜索推薦、物流、安全、都是京東云的用戶,京東云針對這些部門所在產(chǎn)業(yè)也都進(jìn)行了深度的需求挖掘的分析,構(gòu)建出屬于每一個產(chǎn)業(yè)的云平臺。京東云還在積極布局全國,推動“產(chǎn)業(yè)上云數(shù)字化轉(zhuǎn)型”與“云上產(chǎn)業(yè)新經(jīng)濟(jì)聚集”。
京東云布局全國的城市數(shù)據(jù)中心,除了可以解決客戶傳統(tǒng)的 IDC 需求外,也符合邊緣計算的資源分布和離用戶近的屬性。京東云通過利用城市節(jié)點作為邊緣計算的載體,實現(xiàn)云計算與邊緣計算之間的協(xié)同、互補(bǔ),而京東云 AIoT 智能物聯(lián)網(wǎng)就是邊緣計算的第一個應(yīng)用。
值得一提的是,在全面提速的發(fā)展過程中,京東云獲得了多項資質(zhì)。2019年1月,京東云獲得了 CSA STAR 云安全認(rèn)證、C STAR 云計算安全評估認(rèn)證,這兩項云安全國際權(quán)威認(rèn)證,標(biāo)志京東云云計算服務(wù)的成熟和業(yè)界的認(rèn)可。京東云還獲得了支付卡行業(yè)數(shù)據(jù)安全標(biāo)準(zhǔn)認(rèn)證(PCI DSS)、云服務(wù)企業(yè)信用評級AAA級認(rèn)證、增值電信業(yè)務(wù)許可證(IDC/ISP/CDN)、全國 CDN 經(jīng)營許可證等。
近年來,京東全面向技術(shù)轉(zhuǎn)型,用技術(shù)改造第一個十二年建立的所有商業(yè)模式,打造包括智能零售、智能金融、智能保險、智能物流在內(nèi)的全球領(lǐng)先的智能商業(yè)體,轉(zhuǎn)型為“以零售為基礎(chǔ)的技術(shù)與服務(wù)公司”。2018年7 月,京東更宣布成立一支百億級云計算產(chǎn)業(yè)基金,大力發(fā)展京東云。從宿遷數(shù)據(jù)中心的參觀,可以看出京東對于云計算特別是公有云的認(rèn)真和投入程度,也從一個側(cè)面反應(yīng)了京東云近三年在中國云計算市場快速崛起的原因。京東云的未來,值得期待。