超算國產(chǎn)化,還需要邁過哪些門檻?

ChatGPT之后,大模型已成席卷從人工智能到泛科創(chuàng)行業(yè)的公認爆點,國內(nèi)的互聯(lián)網(wǎng)科技廠商也在2020年至今的三年期間,相繼推出自有大模型。

640 (1).png

本文來自微信公眾號“信創(chuàng)產(chǎn)業(yè)”,作者/林棲。

ChatGPT之后,大模型已成席卷從人工智能到泛科創(chuàng)行業(yè)的公認爆點,國內(nèi)的互聯(lián)網(wǎng)科技廠商也在2020年至今的三年期間,相繼推出自有大模型。

然而在欣欣向榮的AI浪潮背后,用于支撐大模型的超算基礎(chǔ)設(shè)施,卻依然面臨著嚴峻的“卡脖子”難題,超算國產(chǎn)化已經(jīng)迫在眉睫。

「信創(chuàng)產(chǎn)業(yè)」認為,持續(xù)追趕GPU硬件性能的同時,也不能忽視軟件生態(tài)的發(fā)力。在國產(chǎn)化大趨勢面前,國產(chǎn)芯片達到及格基線之后,軟件的優(yōu)勢將成為彌補性能體驗鴻溝的利器。

640.jpg

來源:沙利文

做好國產(chǎn)大模型生態(tài)系統(tǒng),需要越過哪些軟件門檻?以下是10大主要方向:

●編程框架

編程框架的主要角色是幫助用戶降低編寫AI大模型的難度和復(fù)雜度,利用基本算子快速構(gòu)建大模型。目前國外的主流框架包括PyTorch、TensorFlow等,國內(nèi)有百度飛槳、OneFlow等,但成熟度和易用性尚且有較大的距離。

●并行加速

主要功能是為多機多卡環(huán)境提供AI模型并行訓(xùn)練的能力,目前國外有微軟的DeepSpeed、英偉達的Megatron-LM。

●通信庫

主要用于提供通信能力,其性能的兩大考量指標一是需要支持AI模型訓(xùn)練所需要的多種通信模式,二是必須能根據(jù)底層網(wǎng)絡(luò)的特點,最大化利用網(wǎng)絡(luò)通信帶寬。目前國外主流軟件包括:英偉達NCCL庫、MPI庫。

●算子庫

芯片算子庫是位于芯片底層之上的算子開發(fā)工具包,提供AI模型所需基本操作的高性能實現(xiàn)。目前國外有英偉達cuDNN、cuBLAS,國內(nèi)的華為、訊飛、北京智源人工智能研究院等也都在構(gòu)建算子庫,但剛處于起步階段。

●AI編譯器

對算子庫不能提供的操作,可以通過AI編譯器自動生成高效目標代碼。目前主流產(chǎn)品有英偉達NVCC、XLA、TVM等。

●編程語言

用于支持在異構(gòu)處理器上編寫并行程序,需要能夠編寫AI模型的基本算子。最著名的就是英偉達的CUDA,英特爾的oneAPI。

●調(diào)度器

用于提供在大規(guī)模系統(tǒng)上高效調(diào)度人工智能任務(wù)的能力,需要設(shè)計高效調(diào)度算法,提高集群資源的利用率。目前國外以K8S(Kubernetes)為主,國內(nèi)則有華為ModelArts等。

●內(nèi)存分配系統(tǒng)

主要針對人工智能應(yīng)用的特點,提供高效的內(nèi)存分配策略,做好這一方向,將有助于彌合我國AI模型從理論到實踐的差距,解決實際運行效率難以達到理論峰值的痛點。

●容錯系統(tǒng)

在硬件發(fā)生故障后,能夠保障模型訓(xùn)練的快速恢復(fù)。這一細分方向,對影響國產(chǎn)AI模型在支持復(fù)雜應(yīng)用全流程計算方面的能力改善,至關(guān)重要。

●存儲系統(tǒng)

在訓(xùn)練過程中,支持高調(diào)的數(shù)據(jù)讀寫功能,將有效消除計算任務(wù)的延遲問題,提升模型訓(xùn)練和進化效率。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論