本文來自微信公眾號“電子發(fā)燒友網(wǎng)”，文/莫婷婷。
隨著大模型智能水平的提升，AIGC所需要的算力也在不斷增長。根據(jù)OpenAI的研究，AI訓練所需算力指數(shù)增長，且增長速度超越硬件的摩爾定律。燧原科技創(chuàng)新研究院負責人、首席科學家姚建國教授認為，算力分為需求、場景，還有芯片和系統(tǒng)四個層次。算力需求的變化給AI芯片以及系統(tǒng)都帶來了一定程度的挑戰(zhàn)。
多家廠商發(fā)布垂直類大模型，AIGC落地場景逐漸清晰
隨著各大公司對AIGC研究的不斷深入和技術投入，國內(nèi)外廠商積極推出屬于自己的類ChatGPT模型，例如華為的“盤古”，商湯的“日日新”、深蘭科技的“硅基知識”、出門問問的“序列猴子”、深信服的“安全大模型”等等大模型。這么多的大模型，若是放在兩年前，業(yè)內(nèi)人士可能會頭疼于它的落地場景。
得益于ChatGPT的出現(xiàn)，業(yè)內(nèi)人士看到了更多AIGC落地的可能性，并且推動AI行業(yè)進入AIGC時代。百度創(chuàng)始人、董事長兼CEO李彥宏近期公開演講時就表示，“大模型即將改變世界”。
那么，大模型究竟會如何改變世界呢？這還得從落地場景看。目前，AIGC的典型應用分為文生文、文生圖、文生視頻。近期中國市場開放一些文生文的應用越來越多，具體的應用包括對話式功能，還支持搜索和營銷的場景。
盡管國內(nèi)廠商還未推出像GPT-4如此強大的通用模型，但是在垂直領域的人工智能大模型卻迎來飛躍式的發(fā)展，并且有著巨大的想象空間。正如李彥宏提到的，每一個行業(yè)都應該有屬于自己的大模型。未來技術跟業(yè)務深度融合是AIGC發(fā)展的最終方向。
算力需求變化帶來系統(tǒng)級創(chuàng)新
談及大模型對算力的需求，姚建國教授表示，AIGC智算中心可以分為三類大模型：基礎大模型、場景大模型和應用大模型。
基礎大模型通過巨大的算力生成，然后通過預訓練算力、超大訓練算力支撐，例如ChatGPT。場景大模型是在大模型基礎進行調(diào)優(yōu)，通過Fine Tune算力支撐，可以適應不同場景，也就能賦能到不同行業(yè)，可以引用一些普惠訓練算力。應用大模型主要是通過推理算力，包括云端推理和端側(cè)推理。
對于芯片的需求，基礎大模型和場景大模型分別需要大算力訓練芯片和中算力訓練芯片，且對機器之間的數(shù)據(jù)互聯(lián)帶寬有較高的要求，都需要高速芯片互聯(lián)。而應用大模型只需要云端推理算力，且可以使用分布式/單機訓練和推理，是性價比較高的大模型之一。
算力肉眼可見地不斷增長，燧原科技姚建國教授在公開演講時也提到了一組數(shù)據(jù)：從2012年到2018年，訓練AI算力增長了30萬倍，摩爾定律相同時間通用算力只有7倍的增長。從這里可以看出AIGC對算力需求之高。
算力需求變化帶來了三大問題，一是存/算性能失配，內(nèi)存墻導致訪存時延高、效率低；二是馮諾依曼架構(gòu)下，功耗墻導致傳輸能耗損失；三是滿足大模型需求，性能墻導致算力無法滿足。姚建國教授表示，未來不僅僅是單核芯片去解決算力問題，一定會是通過一個系統(tǒng)級解決方案去實現(xiàn)整個算力適應變化。
目前，單獨的服務器、集群難以解決大模型的預訓練，因此需要有大算力加速，比如說H100提供了Transformer引擎；此外還有機密計算、COP互聯(lián)加速、CXL協(xié)議等等各方面的創(chuàng)新。業(yè)內(nèi)人士普遍認為，系統(tǒng)級創(chuàng)新會是未來的發(fā)展趨勢
對于大模型未來的發(fā)展趨勢，IDC中國首席分析師武連峰認為，AI大模型應用深化，從專屬AI到通用AI，會是趨勢之一。當然，最終實現(xiàn)通用AI的道路還有很長。
