打破認知誤區(qū),發(fā)展數(shù)據(jù)密集型超算

云頭條
近年來,隨著互聯(lián)網(wǎng)的興起,新的技術(shù)熱點層出不窮,大數(shù)據(jù)、人工智能、區(qū)塊鏈等降低了社會對于超算技術(shù)的關(guān)注度。同時登頂世界后,超算產(chǎn)業(yè)進入“無人區(qū)”,從跟隨者轉(zhuǎn)身為引領者的不適應,以及面對新的技術(shù)趨勢的消化不良,導致近年來超算屆逐步形成了五個典型的認知誤區(qū)。

2345截圖20210806091512.png

超算是國之重器,體現(xiàn)了一個國家的科技發(fā)展水平。過去很長一段時間,超算以算為主,通過TOP500打榜,彰顯國家的超算實力。

截止2021年6月,中國在TOP500中超級計算機數(shù)量達到188臺,遠超美國的122臺。神威太湖之光,接力天河2號、天河3號連續(xù)10次奪得世界第一,中國已經(jīng)成為事實上的超算大國。

但是,近年來,隨著互聯(lián)網(wǎng)的興起,新的技術(shù)熱點層出不窮,大數(shù)據(jù)、人工智能、區(qū)塊鏈等降低了社會對于超算技術(shù)的關(guān)注度。同時登頂世界后,超算產(chǎn)業(yè)進入“無人區(qū)”,從跟隨者轉(zhuǎn)身為引領者的不適應,以及面對新的技術(shù)趨勢的消化不良,導致近年來超算屆逐步形成了五個典型的認知誤區(qū)。這五個誤區(qū)直接影響到了超算產(chǎn)業(yè)的發(fā)展,直接制約到了中國從超算大國走向超算強國的進程。

誤區(qū)1:超算是傳統(tǒng)算力,智算是先進算力,兩者是競爭關(guān)系?

真相1:這一誤區(qū)的來源是AI算力的興起,以及AI背后的一系列應用的發(fā)展,如圖像識別、語音識別、自動駕駛等,智算和超算開始并駕齊驅(qū)。但是,應該了解到的是,長期以來,AI的算力一直作為超算算力的補充存在,首先超算的算力異構(gòu)化趨勢由來已久,通過GPU加速來補充CPU算力的不足,尤其是在大規(guī)模矩陣運算的不足,國內(nèi)的天河系統(tǒng)和神威系統(tǒng)早已具備CPU+GPU異構(gòu)算力,全球Top20能效的超算70%使用了異構(gòu)算力,Top50的超算應用,68%支持GPU加速。其次,近年來,有一些科學應用被證明可以通過機器學習而不是傳統(tǒng)的偏微分方程的算法來進行模擬,如2020年獲得戈登貝爾獎的北大分子動力學場景,嘗試通過機器學習的方式來進行計算模擬,取得了和傳統(tǒng)偏微分方程模擬的類似效果,這就是AI技術(shù)對于傳統(tǒng)超算算法的一直替代。第三,也是最重要的,今年超算產(chǎn)業(yè)聯(lián)盟年會,新當選的聯(lián)盟理事長鄭緯民院士從整個超算產(chǎn)業(yè)的視角提出,大計算與大數(shù)據(jù)相伴,HPDA,即HPC+AI+Bigdata的技術(shù)融合,從關(guān)注單點應用的HPC,走向支持復雜應用的全流程計算HPDA是未來的發(fā)展方向。

誤區(qū)2:超算就是計算,數(shù)據(jù)不重要?

真相2:傳統(tǒng)超算的商業(yè)模式就是依靠算力來變現(xiàn),機時是衡量超算中心經(jīng)營的唯一標準,這種模式最大的問題是超算中心完全管道化,不能和客戶的應用產(chǎn)生粘性,超算中心之間的競爭退變?yōu)殡娰M的競爭,無法分享企業(yè)數(shù)字化大潮的紅利。不過,伴隨著HPDA的發(fā)展,越來越多的新增業(yè)務場景都為數(shù)據(jù)密集型應用,不少超算中心逐步轉(zhuǎn)型為數(shù)據(jù)服務提供商,關(guān)注數(shù)據(jù)價值變現(xiàn)。以濟南國超為例,著重關(guān)注數(shù)據(jù)的積累,打通了醫(yī)療數(shù)據(jù)、健康數(shù)據(jù)、安全數(shù)據(jù)的供應及存儲通路,進入了良性的發(fā)展通道。貴安區(qū)超也結(jié)合貴州省大數(shù)據(jù)產(chǎn)業(yè)的大勢,提出“兩大一超”的發(fā)展戰(zhàn)略,即圍繞生物大數(shù)據(jù)和天文大數(shù)據(jù),打造有區(qū)域影響力的超算中心。

2345截圖20210806091512.png

誤區(qū)3:超算的存儲不重要,服務器JBOD就夠了?

真相3:長期以來,中國的超算中心建設存在重算力、輕存儲的現(xiàn)象,據(jù)估算,中國超算中心的存算比(即存儲容量PB的比值和計算算力PFLOPS)一般在1:3甚至更低,而且存儲大量使用服務器JBOD方案,尤其是高??蒲杏猛镜某?,更是較少采用專業(yè)的外部存儲。帶來的后果是數(shù)據(jù)存儲的可靠性沒有保證,大規(guī)模數(shù)據(jù)讀寫的性能沒有保證。本地盤存儲能力不足,跨服務器數(shù)據(jù)共享訪問能力不足,都會帶來性能的急劇下降,只能依靠建設高速緩存層來解決,這又帶來的成本的急劇上升。反觀美國的超算,超算中心的存算比普遍一般在1:2以上,美國能源研究與科學計算中心(NERSC)第八代超算集群存算比高達1:1,最新的第九大超算集群Perlmutter更加重視超算存儲的能力,為此配備了35PB的全閃存,成為全球首個全閃存超算。

2345截圖20210806091512.png

誤區(qū)4:超算的存儲不需要統(tǒng)一規(guī)劃,需要的時候再擴容就夠了?

真相4:超算的算力每3~5年就會更新,超算中心也會按需引進一些新機器,但是由于在建設之初,缺少對存儲的統(tǒng)一規(guī)劃,往往是算力更新?lián)Q代,存儲也要更新?lián)Q代,數(shù)據(jù)也要隨之遷移;部署新的機器,就要部署新的存儲,逐步形成一系列的數(shù)據(jù)孤島。以國家地震局數(shù)據(jù)中心為例,為了打破數(shù)據(jù)孤島,只能增加多個數(shù)據(jù)副本,最多的一份數(shù)據(jù)有27個副本,大幅提高了數(shù)據(jù)中心的建設成本。另外,近年來超算存儲的建設呈現(xiàn)出分層建設的趨勢,即根據(jù)數(shù)據(jù)的熱溫冷規(guī)劃存儲,熱數(shù)據(jù)一般使用高速緩存層,溫數(shù)據(jù)一般規(guī)劃專業(yè)的固態(tài)存儲,冷數(shù)據(jù)則采用HDD或藍光歸檔介質(zhì),各層統(tǒng)一規(guī)劃,對外提供多種協(xié)議接口,供多元算力訪問,對內(nèi)數(shù)據(jù)可以分級管理,自由流動。

誤區(qū)5:超算存儲系統(tǒng)就用開源Lustre挺好,不需要國產(chǎn)自研?

真相5:Lustre是由Intel主導開源的并行文件系統(tǒng),目前Lustre廣泛部署于HPC系統(tǒng)中,TOP100超算中60%使用了Lustre。但天下沒有免費的午餐,近年來,Lustre面對超算產(chǎn)業(yè)的發(fā)展,也出現(xiàn)了應對乏力。首先,Lustre接口比較單一,只支持與Posix兼容的文件系統(tǒng),但是HPC走向HPDA,AI需要S3的對象結(jié)構(gòu),大數(shù)據(jù)需要HDFS接口,這些Lustre都不具備。第二,Lustre是非全對稱架構(gòu),MDS負責元數(shù)據(jù)管理,OSS負責數(shù)據(jù)管理,MDT和OST是對應的存儲空間,訪問數(shù)據(jù)要從MDS->MDT->OSS->OST,訪問路徑長,訪問性能低,而且MDS不可擴展,大文件訪問還能接受,小文件基本不可接受。第三,Lustre沒有EC和副本冗余,可靠性均依靠后端存儲系統(tǒng),MDT和OST存儲一般使用基于JBOD的SAN存儲,可靠性也無從保證。第四,Lustre不支持多租戶和數(shù)據(jù)隔離,在超算中心走向服務化的大背景下,不能適應。最后我們從自主可控的角度來看,我們從Google的“開源”也可以得到啟示。中國的超算有必要也必須逐步構(gòu)建在國產(chǎn)自研的根基之上,以應對釜底抽薪的風險。

以上五個認知誤區(qū),并不是否定中國超算取得的巨大成就,一定程度也是中國超算從跟隨者走向引領者必然階段。這五個認知誤區(qū)的本質(zhì)還是,長期以來,超算的發(fā)展對于數(shù)據(jù)不重視,對于數(shù)據(jù)基礎設施建設不重視的結(jié)果。

值得關(guān)注的是,九月底在蘭州的第九屆超算創(chuàng)新聯(lián)盟大會,正式成立了一個數(shù)據(jù)密集型超算工作組,把數(shù)據(jù)能力上升到和算力同樣的高度,提出超算中心從算力服務時代邁向數(shù)據(jù)價值時代,數(shù)據(jù)密集型超算正當時。近日在呼和浩特召開的第七屆科學數(shù)據(jù)大會,擁有最核心的數(shù)據(jù)資產(chǎn)20家國家科學數(shù)據(jù)中心共聚一堂,數(shù)據(jù)密集型超算也成為熱議的話題。打破認知誤區(qū),或許進一步重視數(shù)據(jù),發(fā)展數(shù)據(jù)密集型超算才是中國的超算強國之路。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論