數(shù)字化轉型“軍艦”啟航:詳解華為云容器全新解決方案

云科技時代雜志
當前,數(shù)字化轉型正在進入深水區(qū),云原生應用與傳統(tǒng)應用上云之間的界線正在打破,企業(yè)需要的不僅是簡單的傳統(tǒng)工作負載直接遷到云數(shù)據(jù)中心,更需要對傳統(tǒng)工作負載進行云原生架構改造,以適應云運營的方式,最大程度發(fā)揮云計算的優(yōu)勢。

進入2019年下半年,云原生計算已經(jīng)得到了云計算行業(yè)和傳統(tǒng)IT界的廣泛認同。國際知名市場咨詢機構Gartner在前不久發(fā)布的2019公有云服務趨勢報告中指出,從傳統(tǒng)工作負載上云開始,雙模IT理論將引導用戶在應用架構和運營兩個方面逐漸走向云原生;云原生設計將包括容器與無服務器計算模型的使用,這些技術將在2019年以更快的速度普及;云運營將具備彈性和可擴展性,能夠充分發(fā)揮超大型平臺和云應用的優(yōu)勢。

以Kubernetes容器為代表的云原生技術在2019年獲得了廣大技術廠商的全力支持,作為Kubernetes開源社區(qū)的國內(nèi)第一大貢獻廠商,華為則自2016年就開始全力圍繞Kubernetes進行云原生計算的布局,2019年3月更是全行業(yè)首發(fā)容器多云及混合云解決方案。

在最近的2019華為全聯(lián)接大會上,華為云又進一步發(fā)布了全新升級的新一代容器基礎設施“Vessel(軍艦)”,包括Kubernetes集群調(diào)度平臺Volcano、容器存儲Update版本Everest、新一代容器網(wǎng)絡Yangtse以及容器監(jiān)控Update版本Glacier。Vessel作為面向更大規(guī)模、更高性能的下一代容器基礎設施平臺,將重點解決大中型企業(yè)尤其是泛互聯(lián)網(wǎng)行業(yè)深入推進落地Kubernetes容器平臺所面臨的大規(guī)模核心業(yè)務SLA保障的問題。此外,華為云還重點面向AI、大數(shù)據(jù)和基因等批量計算場景,推出了基于Kubernetes的高性能批量計算解決方案。

公有云的雙模IT

當前,數(shù)字化轉型正在進入深水區(qū),云原生應用與傳統(tǒng)應用上云之間的界線正在打破,企業(yè)需要的不僅是簡單的傳統(tǒng)工作負載直接遷到云數(shù)據(jù)中心,更需要對傳統(tǒng)工作負載進行云原生架構改造,以適應云運營的方式,最大程度發(fā)揮云計算的優(yōu)勢。根據(jù)Gartner,公有云的雙模指的是使用云管理傳統(tǒng)工作負載(模式1)和將云作為新應用創(chuàng)新的開發(fā)平臺(模式2),2017年開始云原生項目比例從10%增長到現(xiàn)在的30%。

換句話說,目前為止,向云遷移都是以IT資源管理為核心,大部分的遷移項目都只是把本地虛機遷移到云端虛機,而并不對應用本身的架構進行大的改造,這就是所謂“換湯不換藥”。模式1帶來的主要是集中于IT服務管理的收益,對企業(yè)的商業(yè)模式創(chuàng)新并沒有直接的影響;模式2則是真正的云端創(chuàng)新、深度創(chuàng)新。

以云原生計算為代表的模式2,主要包括開源的Docker容器、Kubernetes容器集群管理、Istio服務網(wǎng)格等,然而在云計算興起的頭十年里主要用于DevOps開發(fā)測試環(huán)境中,并不能深入到企業(yè)的生產(chǎn)環(huán)境中。華為云應用管理服務域總經(jīng)理方璞強調(diào),雖然云原生技術近年來在落地標準化方面做的很好,也確實擊中了很多廣大公司的痛點,但在滿足大企業(yè)大規(guī)模生產(chǎn)的時候,還有很大的差距。比如在集群規(guī)模方面,開源版本雖然宣稱可以達到5000節(jié)點的規(guī)模,但其實并沒有考慮容器監(jiān)控、網(wǎng)絡和存儲的限制。

方璞比喻道,Kubernetes的Logo是舵,Istio的Logo是帆船,兩個組合就好比是民用的“小帆船”,而企業(yè)數(shù)字化轉型所需要的是商用級的“大軍艦”。方璞認為“軍艦級”的云原生技術可以為企業(yè)帶來三大優(yōu)勢:一是滿足面向海量應用的運維需求,特別是達到類似互聯(lián)網(wǎng)行業(yè)的快速業(yè)務上線、秒級或分鐘級業(yè)務升級等運維能力,這將給所有企業(yè)運維場景帶來天翻地覆的變化;二是隨著人工智能時代的到來,云原生技術將徹底與大數(shù)據(jù)技術結合在一起并釋放巨大的算力,把數(shù)據(jù)轉變成企業(yè)生產(chǎn)力;三是隨著5G的到來,帶寬將不再是問題,泛互聯(lián)網(wǎng)融合趨勢非常明顯,比如游戲與視頻的整合、視頻與電商的融合等等,5G時代的云原生技術在邊云協(xié)同場景中將為企業(yè)創(chuàng)新帶來巨大的推動力。

多云混合云2.0:容器基礎設施全面升級

2016年,華為在國內(nèi)首發(fā)基于Kubernetes的容器服務CCE;2017年,成為第一批全球Kubernetes認證的服務提供商,CCE也首批通過了Kubernetes的一致性認證;2018年發(fā)布云AI容器和Istio服務網(wǎng)格;2019年3月全行業(yè)首推MCP云容器多云及混合云管理平臺。

這次在HC 2019大會上,華為云進一步全面升級了以容器為核心的基礎設施:華為云容器多云混合云解決方案2.0。方璞強調(diào),升級后的解決方案,依托更大規(guī)模的集群管理能力、更快的容器網(wǎng)絡和存儲、更完善的監(jiān)控管理,滿足企業(yè)核心業(yè)務上云的訴求,從創(chuàng)新業(yè)務容器化的試水區(qū),進入到核心業(yè)務容器化的深水區(qū),推進企業(yè)數(shù)字化進入全新的階段。

首先,本次升級了華為云容器引擎CCE所管理的Kubernetes集群規(guī)模。由于開源Kubernetes在調(diào)度、網(wǎng)絡、存儲、監(jiān)控等各方面的技術限制,目前業(yè)界的容器產(chǎn)品對于Kubernetes集群的支持規(guī)模普遍有限。而華為云此次通過一系列的技術突破,將單集群的管理規(guī)模提升到了10000節(jié)點、100萬容器,并且提供了30秒100節(jié)點的快速擴容能力。

其次,推出的容器存儲更新版本Everest,統(tǒng)一了容器卷的管理,使用Kubernetes Volume語義屏蔽多種存儲服務差異,拉通創(chuàng)建、刪除、查詢、遷移、備份等操作,同時構建了百萬IOPS、低時延、高性價比的容器存儲,在AI計算、基因數(shù)據(jù)分析、大數(shù)據(jù)處理等場景有著明顯優(yōu)勢。當前的開源容器存儲生態(tài)中,只定義了南向的標準化容器存儲接口CSI,即容器編排系統(tǒng)與存儲技術供應商之間的接口,而Everest“珠穆朗瑪峰”提供了易用、大規(guī)模、高性能的容器存儲,實現(xiàn)了從“民用級”向企業(yè)級的提升。

第三,推出了新一代容器網(wǎng)絡Yangtse。在大規(guī)模場景下,華為云容器網(wǎng)絡發(fā)放與接通速度有了飛越式增長,1萬容器Port發(fā)放只需1分鐘,容器網(wǎng)絡接通速度小于1秒。Yangtse“揚子江”的意義在于構建云原生的容器網(wǎng)絡,把之前分層的容器網(wǎng)絡與下層VPC網(wǎng)絡打通,消除通信的損耗,讓容器網(wǎng)絡與原生云網(wǎng)絡達到完全一樣的效果。

最后就是容器監(jiān)控的更新版本Glacier,支持跨云應用的全景監(jiān)控,并支持社區(qū)的原生Prometheus生態(tài)。結合集群聯(lián)邦與策略引擎,可實現(xiàn)30秒應用跨云的自動彈性。Glacier“冰川”的意義在于打造下一代容器基礎設施的容器監(jiān)控與自動彈性擴容,實現(xiàn)近似于無限的巨大容量并且穩(wěn)定。

上述新發(fā)布內(nèi)容組成了升級后的華為云容器基礎設施平臺Vessel,也是華為云容器多云混合云解決方案2.0的“底座”,包含在華為云容器服務系列產(chǎn)品中,包括云容器引擎CCE、多云容器平臺MCP、容器鏡像服務SWR、應用服務網(wǎng)格ASM等。相比于今年3月份的1.0版本,升級后的版本還解決了跨云容災、區(qū)域化策略運營、智能流量治理等問題:基于Kubernetes Federation和Istio的核心能力,將不同云之間的Kubernetes集群統(tǒng)一管理起來,并通過Istio的智能路由能力,實現(xiàn)業(yè)務請求的跨云分發(fā)。也就是說,1.0版本主要集中在Kubernetes集群聯(lián)邦和多云混合云的應用管理方面,而2.0版本則打通了多云混合云的容器監(jiān)控以及流量治理,讓企業(yè)可以實現(xiàn)容器應用的高級特性,例如多云的流量分發(fā)、業(yè)務分擔、容災備份等。

方璞強調(diào),華為早期就在Kubernetes社區(qū)的Federation集群聯(lián)邦項目中,該項目也是由華為主導和貢獻的,因此華為云也就順其自然地基于Federation推出了多云容器管理平臺(MCP),這是多云混合云解決方案的核心組成,在華為云MCP界面里可以輕松管理多個公有云、私有云和私有數(shù)據(jù)中心的Kubernetes集群。而當各個云平臺的Kubernetes集群被管理起來之后,面向整個應用生命周期的多云混合云管理訴求就隨之而來,包括多云的容器監(jiān)控、容器存儲、容器網(wǎng)絡互通、流量治理等,都存在大量技術難題,MCP就通過產(chǎn)品化方式滿足了這些需求。

容器批量計算平臺:讓AI、大數(shù)據(jù)與基因計算爆發(fā)

有了新一代容器基礎設施之后,企業(yè)為了推進數(shù)字化轉型,還需要面向特定計算場景的解決方案,這就是本次HC 2019推出的華為云高性能容器批量計算解決方案,主要覆蓋大數(shù)據(jù)容器、AI容器和基因容器三大場景,特別把去年發(fā)布的AI容器服務、基因容器服務以及最新的大數(shù)據(jù)容器服務統(tǒng)一到了一個技術平臺上,這就是以Volcano調(diào)度引擎為核心的高性能容器批量計算平臺。

方璞強調(diào),本次發(fā)布的高性能容器批量計算解決方案采用了多種先進技術,核心的調(diào)度引擎Volcano每秒可調(diào)度1000容器,支持批量任務與容器的快速發(fā)放,并提供群集調(diào)度、公平調(diào)度、隊列調(diào)度等高級功能;Volcano與華為云容器實例CCI原生搭配,由CCI所提供的高性能容器算力,以及華為昇騰系列AI處理器、鯤鵬系列服務器、高性能網(wǎng)絡與存儲加速芯片,能夠提供更高性能、更高性價比的容器批量計算解決方案。在部分客戶的實際應用案例中,通過使用華為云高性能容器批量計算平臺,在針對基因測序數(shù)據(jù)分析時,對全人類基因組30X樣本分析的效率能提升10倍,大數(shù)據(jù)分析場景下效率提升40%,AI模板訓練提升3-5倍。

本次全新發(fā)布的大數(shù)據(jù)容器服務,則面向傳統(tǒng)大數(shù)據(jù)技術的存算一體、煙囪式基礎設施等問題,實現(xiàn)了調(diào)度性能的提升、存算分離、易運維和自動彈性伸縮等創(chuàng)新能力。此前,傳統(tǒng)大數(shù)據(jù)基礎設施節(jié)點既用于存儲也用于計算,難以實現(xiàn)極致的性能與成本。此次華為云的大數(shù)據(jù)容器服務,為企業(yè)提供存算分離的基于Kubernetes的容器化大數(shù)據(jù)平臺,彌補了當前主流大數(shù)據(jù)平臺的不足,在調(diào)度、任務管理、性能、成本等方面都優(yōu)于傳統(tǒng)方案。

本次AI容器服務的更新版本支持10種以上業(yè)界主流深度學習框架,除了包括Tensorflow、MxNet、Pytorch、Caffe2在內(nèi)的各種社區(qū)開源框架外,也包含了華為全場景AI計算框架MindSpore在內(nèi)的一些新框架。新版本的華為云AI容器在開放性、調(diào)度性能、計算性能、以及資源利用率上都有很大提升,尤其借助Volcano引擎,使AI容器具有性價比30%+的提升。華為云AI容器在圖像識別、自然語言處理、智能監(jiān)控、自動駕駛,包括近期熱門的視頻換臉特效等各種場景都有實踐經(jīng)驗。

本次基因容器服務的更新版本新增了以容器方式實現(xiàn)生信領域廣泛使用SGE集群管理能力,使得傳統(tǒng)線下生信分析環(huán)境可以無縫遷移上云,并獲得容器技術所帶來的好處。除此之外,更新的基因容器GCS還帶來了對基因領域頂級機構Broad Institute所發(fā)布的Cromwell引擎的支持,開發(fā)者只需提交標準的WDL流程,就可以按需進行WDL基因數(shù)據(jù)分析,遵從GA4GH(全球基因組學與健康聯(lián)盟)統(tǒng)一標準。

華為云高性能容器批量計算解決方案的核心調(diào)度引擎Volcano先前已于6月底在KubeCon上海進行了發(fā)布。至今短短三個月時間,Volcano已經(jīng)吸引了眾多頭部科技廠商的參與,是Kubernetes社區(qū)最活躍的項目之一,而且包括Kubeflow、PaddlePaddle、MPI、KubeGene等在內(nèi)的多個主流計算框架都已經(jīng)支持了Volcano。而去年底,華為云ModelArts一站式AI開發(fā)平臺在斯坦福大學DAWN Benchmark榜單中獲得圖像識別訓練和推理性能雙料冠軍,其底層就是采用了Volcano調(diào)度引擎。Volcano引擎除了支持傳統(tǒng)的X86算力外,還支持華為自研的昇騰處理器以及鯤鵬處理器,特別是支持今年7月剛發(fā)布的鯤鵬Kubernetes容器和鯤鵬Serverless容器,滿足企業(yè)用戶對多元異構算力的需求。

Volcano調(diào)度引擎與大數(shù)據(jù)、AI、基因三大容器服務組成了華為云高性能容器批量計算解決方案,為客戶提供云原生的高性能容器計算平臺。方璞介紹,基因容器服務目前已經(jīng)在華大、未來組等國內(nèi)基因測序的頭部企業(yè)使用;剛發(fā)布的大數(shù)據(jù)容器服務目前正在做邀測,從測試的情況來看,性價比提升了30%以上;AI容器服務目前最大的客戶是華為云的EI智能體,不但支撐ModelArts提供全流程的開發(fā)服務,而且為公司內(nèi)各產(chǎn)品線業(yè)務提供高性能的AI計算基礎設施,而外部多家頭部客戶也在使用AI容器用于語音識別、視頻處理、自動駕駛等場景。

云原生的方向:多云、智能、異構、邊緣

華為云容器在云原生方面的理念可以總結為:多云、智能、異構以及邊緣。在多云方面,目前企業(yè)更多的是將一些創(chuàng)新型項目進行容器化改造,核心的生產(chǎn)系統(tǒng)因為目前云原生技術在集群規(guī)模、調(diào)度、網(wǎng)絡、存儲、監(jiān)控等方面的原因,還無法全面實施容器化。在智能和異構方面,隨著AI技術的流行,云原生技術需要與以GPU、FPGA/ASIC、華為昇騰與鯤鵬為代表的異構計算相結合,為云和邊緣上的智能計算場景提供更高性能、更易獲取的異構資源。在邊緣計算方面,下一代云計算的形態(tài)并不會是集中式的數(shù)據(jù)中心,而是由成千上萬個邊緣節(jié)點連成的泛在式、分布式的邊緣網(wǎng)絡,形成泛在的云,而云原生技術也需要從單一集群向多集群、多區(qū)域、分布式節(jié)點發(fā)展,這里面包括網(wǎng)絡、數(shù)據(jù)、應用在內(nèi)都存在很多挑戰(zhàn)性的問題需要解決。

針對多云、智能、異構、邊緣這四大理念,本次華為云多云混合云解決方案更新版本,重點解決了集群管理規(guī)模、調(diào)度、網(wǎng)絡、存儲性能的問題,為企業(yè)核心生產(chǎn)系統(tǒng)的容器化提供有力的技術支撐;高性能容器批量計算解決方案全面支持多云以及智能和異構,也全面滿足了大數(shù)據(jù)、AI以及基因計算對于容器化的需求。而華為云發(fā)布的KubeEdge項目去年就已經(jīng)進入CNCF社區(qū),成為社區(qū)的首個智能邊緣項目,目前已經(jīng)吸引了大量的知名公司參與,是CNCF最活躍的項目之一。

在持續(xù)推進容器基礎設施和高性能容器計算解決方案之外,今年上半年華為云還推出了容器專家服務,即面向企業(yè)的云原生技術咨詢服務。這套咨詢服務是基于華為云前兩年幫助客戶進行容器化改造、實施和運維過程中逐步總結下來的實戰(zhàn)經(jīng)驗,是基于真正實戰(zhàn)經(jīng)驗的總結出來的方法論,非常貼近客戶真實的訴求,能夠有效解決企業(yè)落地云原生技術過程中的實際問題。

總的來說,雖然華為在2017年才進入公有云市場,但根據(jù)市場調(diào)查公司IDC最新的《中國公有云服務市場(2019第一季度)跟蹤》報告,2019年第一季度中國公有云IaaS+PaaS整體市場中,華為云以5.2%的市場份額排名中國公有云市場前五;此外在IaaS廠商市場份額方面,華為云也是Top5中增速最快的廠商。這說明,雖然公有云市場發(fā)展已經(jīng)有十年之久,但數(shù)字化轉型的市場才剛剛開始,在數(shù)字化轉型巨浪的推動下,公有云市場也將再次爆發(fā)。而華為云新一代容器基礎設施“軍艦”也開始啟動,將幫助企業(yè)在數(shù)字化轉型路上踏浪前行!

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論