微秒級數(shù)據(jù)處理 華為云存儲的“快”節(jié)奏

安妮
微秒這個名詞,相信大多數(shù)人都沒有什么概念。長久以來,受限于網(wǎng)絡(luò)和存儲的因素,微秒級時延或者響應(yīng)時間在實(shí)際應(yīng)用中是可望不可及。

“以前(人家總以為)我們自己寫膠片吹吹牛,現(xiàn)在不用吹,大家都知道我們是真牛了”,華為公司副總裁、華為云業(yè)務(wù)總裁鄭葉來在日前成都舉行的“成都·選擇不凡 華為云城市峰會2019”上表示。

就在這次大會上,華為也發(fā)布了云存儲All-Flash戰(zhàn)略,并推出戰(zhàn)略落地的首個產(chǎn)品——全新一代極速IO云硬盤,這標(biāo)志著華為推動著云存儲正式從毫秒走向微秒時代。

微秒這個名詞,相信大多數(shù)人都沒有什么概念。長久以來,受限于網(wǎng)絡(luò)和存儲的因素,微秒級時延或者響應(yīng)時間在實(shí)際應(yīng)用中是可望不可及。但是,伴隨著5G等新興技術(shù)的發(fā)展,越來越多的智能化應(yīng)用都開始涌現(xiàn)出來——比如今年3月,中國人民解放軍總醫(yī)院的醫(yī)生就在遠(yuǎn)隔3000公里外操作手術(shù)器械,完成全國首例基于5G的遠(yuǎn)程帕金森病“腦起搏器”植入手術(shù)。

這項(xiàng)成就得益于5G網(wǎng)絡(luò)高速率、大帶寬、低時延特性。既然網(wǎng)絡(luò)已經(jīng)能夠提供微秒級的應(yīng)用,那么對于存儲介質(zhì)來說也必須迎合這種發(fā)展趨勢,才能夠最大限度地發(fā)揮系統(tǒng)效能。于是,才有了剛剛我們介紹的華為云存儲All-Flash戰(zhàn)略,它的出現(xiàn)將傳統(tǒng)意義上的“慢車”——存儲和網(wǎng)絡(luò)大大提速,并與計算一起,構(gòu)成了數(shù)據(jù)處理邁向智能時代的“三駕馬車”。

“從毫秒進(jìn)入微秒時代,數(shù)據(jù)中心客戶主要面臨兩大時延瓶頸:一方面是傳統(tǒng)軟硬件協(xié)同,特別是網(wǎng)絡(luò)傳輸?shù)臅r延瓶頸;另一方面則是傳統(tǒng)HDD介質(zhì)的物理能力瓶頸。”華為云CTO張宇昕介紹道。“在我們印象中,網(wǎng)絡(luò)時延一直是數(shù)據(jù)處理能力的“硬傷”,這期間哪怕是瞬間的等待也會帶來糟糕的體驗(yàn)。另一方面,HDD存儲介質(zhì)的發(fā)展的確遇到了越來越多的問題。如今伴隨著16TB容量硬盤的出現(xiàn),HDD的響應(yīng)時間依然是大眾吐槽的重點(diǎn)。”

面對大量客戶的需求與痛點(diǎn),華為云也從多個層面著手解決。針對系統(tǒng)層級的時延,華為云通過軟硬件架構(gòu)和數(shù)據(jù)中心架構(gòu)的優(yōu)化,實(shí)現(xiàn)了極簡網(wǎng)絡(luò),也實(shí)現(xiàn)了多核免鎖并發(fā),使得軟件的時延和網(wǎng)絡(luò)的時延降到了極低。所以整個數(shù)據(jù)處理IO從進(jìn)來到出去,能實(shí)現(xiàn)50μs -100μs的穩(wěn)定時延。而關(guān)于存儲介質(zhì)時延問題,華為云采用Flash替代掉了HDD,將介質(zhì)時延從原本四毫秒左右縮短到幾十微秒的級別。

當(dāng)然這并不是簡單的替換就可以的。俗話說好馬配好鞍,有了高速Flash介質(zhì),還需要對軟件進(jìn)行優(yōu)化才能讓介質(zhì)性能得到最大限度的發(fā)揮。同時,盡可能的降低時延,達(dá)到與網(wǎng)絡(luò)時延的一致性,需要徹底解決硬件層面的瓶頸問題。

“傳統(tǒng)硬盤是物理盤片,在提供算法的時候需要考慮到大圈小圈的問題,所以之前的算法都是對于物理磁頭的讀寫性能進(jìn)行優(yōu)化,隨機(jī)讀寫方面的性能就明顯低得多。”張宇昕說,“更換為Flash介質(zhì)之后就完全不存在這種問題,隨機(jī)讀寫的性能表現(xiàn)非常不錯。但是對于Flash來說,我們需要保證不在某一個位置持續(xù)、頻繁地讀寫,所以在算法上也要進(jìn)行調(diào)整。”而對于這一點(diǎn),華為云的工程師們進(jìn)行了大量、復(fù)雜的算法優(yōu)化工作,在提升性能、降低時延的同時,也保證了Flash介質(zhì)的壽命和應(yīng)用可靠性。

我們正處于數(shù)據(jù)爆炸的時代,在邁向智能化的道路上,數(shù)據(jù)成為了我們賴以生存的“食糧”,而掌握了數(shù)據(jù)應(yīng)用,就能掌握未來的智能時代。據(jù)華為全球產(chǎn)業(yè)展望(GIV)報告預(yù)計,2025年的全球年數(shù)據(jù)增量將提升至180ZB,但是,目前企業(yè)數(shù)據(jù)利用率卻只有10%,數(shù)據(jù)價值沒有得到充分釋放。而如果想讓數(shù)據(jù)發(fā)揮價值,則需要從多個方面采取措施,為此華為本次也帶來了全新的“數(shù)據(jù)底座”概念。

華為云指出,制約云計算為智能時代更好地服務(wù)的瓶頸就在“最后一公里”。在云端,“最后一公里”就是數(shù)據(jù)通過服務(wù)端軟件、網(wǎng)絡(luò)、存儲服務(wù)器,最終抵達(dá)介質(zhì)的這一過程。

為了實(shí)現(xiàn)“最后一公里”的百微秒級突破,華為云從存儲引擎到架構(gòu),從自研芯片到算法優(yōu)化,再到最終的AI加持,進(jìn)行了大量的工作。這其中,AI應(yīng)用是最引人期待的內(nèi)容,也是華為云存儲得以持續(xù)發(fā)展的源動力之一。按照張宇昕的話說,華為云存儲可以做到“越用越快”,也成為了重續(xù)“摩爾定律”的重要保障。那么問題來了,我們遇到的許多電子設(shè)備都是越用越慢的,為什么華為云能夠反其道而行之?

“越用越慢”這種事兒,大家在日常都有深刻的體會。比方說,剛買來的手機(jī)向來是響應(yīng)快速、運(yùn)行如飛。但是過了幾個月之后,隨著系統(tǒng)垃圾越來越多,手機(jī)運(yùn)行速度便會下降,就需要不斷地清理和優(yōu)化,但是這也只是緩兵之計。等過了一年之后,手機(jī)就會變得卡頓,點(diǎn)開一個APP都要等幾秒鐘,嚴(yán)重影響用戶體驗(yàn)。其實(shí)也不僅僅是手機(jī),所有的電子產(chǎn)品都會有類似的問題。按照“摩爾定律”的說法,每18個月系統(tǒng)性能提升一倍,老系統(tǒng)自然也就越來越跟不上時代了。

但是基于AI的華為云存儲正在解決這個問題。“在云端,伴隨著用戶越來越多,云的業(yè)務(wù)負(fù)載越來越高,資源的爭搶也就越發(fā)明顯。云服務(wù)商可以通過好的資源規(guī)劃,通過運(yùn)維人員及時響應(yīng)客戶需求,去調(diào)整、優(yōu)化配置,但這一過程畢竟需要一定的響應(yīng)時間。如今借助于人工智能,華為云存儲可以在很大程度上實(shí)現(xiàn)系統(tǒng)自動化感知和調(diào)整,而不是通過人工干預(yù)。這樣華為云存儲就可以做到通過快速調(diào)整系統(tǒng)來響應(yīng)客戶的需求。”張宇昕表示。

很明顯,張宇昕所希望的,就是借助于AI算法實(shí)現(xiàn)資源的自動調(diào)度,盡可能降低時延和性能損耗,并在條件允許的情況下實(shí)現(xiàn)“越用越快”的效果。在實(shí)現(xiàn)這一點(diǎn)之后,華為云存儲也從技術(shù)層面保證了系統(tǒng)性能的最大化,讓每一款硬件產(chǎn)品的性能得到盡可能的發(fā)揮,最終“逼近介質(zhì)能力的極限”。

微秒級響應(yīng),聽起來似乎有些超前,但正如張宇昕在演講中提到,萬物感知、萬物智能、萬物互聯(lián)的時代已經(jīng)到來,為加速各項(xiàng)依托云計算的創(chuàng)新產(chǎn)業(yè)發(fā)展、滿足各類新興應(yīng)用對數(shù)據(jù)實(shí)時性的訴求,華為云將持續(xù)創(chuàng)新,打造出全新一代智能數(shù)據(jù)底座,最終引領(lǐng)云上存儲進(jìn)入微秒時代。

THEEND

最新評論(評論僅代表用戶觀點(diǎn))

更多
暫無評論