本文來自微信公眾號(hào)“大數(shù)據(jù)分析和應(yīng)用”，作者/于澗。
大模型超算計(jì)劃可能對(duì)人工智能行業(yè)產(chǎn)生影響：
馬斯克計(jì)劃造大模型超級(jí)計(jì)算機(jī)，特別是該超算要在2025年秋天之前運(yùn)行，并為新版本人工智能大模型Grok提供算力支持引發(fā)猜測(cè)。
馬斯克這一做法將會(huì)對(duì)人工智能領(lǐng)域造成哪些影響？
又給中國(guó)大模型發(fā)展帶來哪些啟示呢？
他的人工智能初創(chuàng)公司xAI正計(jì)劃建造一臺(tái)超級(jí)計(jì)算機(jī)，為其下一版本的人工智能聊天機(jī)器人Grok提供算力。
馬斯克表示，他希望在2025年秋季之前讓擬議的超級(jí)計(jì)算機(jī)運(yùn)行，并表示xAI可以與甲骨文公司合作來開發(fā)這臺(tái)大型計(jì)算機(jī)。
馬斯克向投資者所做的演示稱：
完成后，連接的芯片組——英偉達(dá)的旗艦H100 GPU數(shù)量——將至少是當(dāng)今最大GPU集群的4倍。
馬斯克在2024年稍早表示：
訓(xùn)練Grok2模型需要大約2萬塊英偉達(dá)H100，而Grok3模型及更高版本將需要10萬塊英偉達(dá)H100。
當(dāng)大模型的運(yùn)算規(guī)模達(dá)到1萬塊GPU，甚至10萬塊時(shí)，就需要通過發(fā)展大模型專用超算來突破能耗墻、可靠性墻、并行墻等算力瓶頸。
這是大模型發(fā)展到一定程度的必然趨勢(shì)。
目前OpenAI與微軟以及谷歌等巨頭都在發(fā)展大模型超算項(xiàng)目，希望通過搭建幾十萬塊甚至百萬塊GPU搶占全球最強(qiáng)大模型的技術(shù)制高點(diǎn)。
大模型超算與通用超算之間存在什么區(qū)別？
主要是計(jì)算的算法、精度和工作負(fù)載以及需要的軟件棧不同。
若馬斯克準(zhǔn)備把算力及大模型等與AI相關(guān)的產(chǎn)業(yè)關(guān)鍵節(jié)點(diǎn)都自己做，可能會(huì)對(duì)AI行業(yè)產(chǎn)生以下影響：
馬斯克成功地控制了這些關(guān)鍵節(jié)點(diǎn)，可能會(huì)導(dǎo)致AI產(chǎn)業(yè)的集中化程度提高，進(jìn)而會(huì)對(duì)競(jìng)爭(zhēng)環(huán)境產(chǎn)生影響，減少其他公司進(jìn)入市場(chǎng)的機(jī)會(huì)。
并且，控制大量的數(shù)據(jù)和算力可能引發(fā)數(shù)據(jù)隱私和安全方面的擔(dān)憂，確保數(shù)據(jù)的合法使用和保護(hù)用戶隱私將成為重要問題。
若出現(xiàn)這種情況，其他公司可能會(huì)面臨更大的競(jìng)爭(zhēng)壓力，尤其是那些依賴于與馬斯克競(jìng)爭(zhēng)的關(guān)鍵技術(shù)或服務(wù)的公司。
另外，還可能會(huì)促使行業(yè)制定更嚴(yán)格的規(guī)范和監(jiān)管，以確保AI技術(shù)的合理使用和保護(hù)公眾利益。
與此同時(shí)，鑒于馬斯克在技術(shù)領(lǐng)域豐富的經(jīng)驗(yàn)和資源，他的投入可能會(huì)加速AI技術(shù)的發(fā)展，推動(dòng)新的創(chuàng)新和突破。
在西方高端GPU對(duì)我國(guó)“卡脖子”的背景下，短期內(nèi)突破大模型算力瓶頸，中國(guó)有一條路可走：
利用過去二十多年積累的先進(jìn)超算技術(shù)，研發(fā)大模型專用超算，克服大模型算力瓶頸問題。
使我國(guó)可以緊緊咬住全球大模型最先進(jìn)水平，不至于掉隊(duì)。
