OpenAI發(fā)布o(jì)1大模型,數(shù)理化水平比肩人類(lèi)博士,國(guó)產(chǎn)云端推理芯片的新藍(lán)海?

9月12日晚,OpenAI正式對(duì)外發(fā)布一款名為o1的新模型。OpenAI o1的內(nèi)部代號(hào)為“草莓”,具備超強(qiáng)的邏輯推理能力。和傳統(tǒng)大模型不同,OpenAI o1會(huì)花更多時(shí)間思考后再做出回答,而傳統(tǒng)大模型是直接給出回答,但往往這個(gè)回答并不準(zhǔn)確。

本文來(lái)自微信公眾號(hào)“電子發(fā)燒友網(wǎng)”,作者/吳子鵬。

9月12日晚,OpenAI正式對(duì)外發(fā)布一款名為o1的新模型。OpenAI o1的內(nèi)部代號(hào)為“草莓”,具備超強(qiáng)的邏輯推理能力。和傳統(tǒng)大模型不同,OpenAI o1會(huì)花更多時(shí)間思考后再做出回答,而傳統(tǒng)大模型是直接給出回答,但往往這個(gè)回答并不準(zhǔn)確。

OpenAI介紹稱(chēng),OpenAI o1模型解決了很多傳統(tǒng)模型,包括目前最強(qiáng)大模型OpenAI GPT-4o無(wú)法解決的復(fù)雜問(wèn)題,模型的思維模型更加接近人類(lèi)。在測(cè)試中,OpenAI o1的下一個(gè)更新模型在物理、化學(xué)和生物等具有挑戰(zhàn)性的基準(zhǔn)任務(wù)上,表現(xiàn)已經(jīng)達(dá)到了人類(lèi)博士生的水平。

比如,在國(guó)際數(shù)學(xué)奧林匹克(IMO)資格考試中,GPT-4o平均解答率為13%,OpenAI o1將這成績(jī)提升到了83%。

640 (1).png

圖源:OpenAI

OpenAI強(qiáng)調(diào),OpenAI o1并非旨在取代GPT-4,而是對(duì)其的補(bǔ)充,代表著向其更廣泛的類(lèi)人人工智能目標(biāo)邁出的堅(jiān)定一步。當(dāng)然,OpenAI o1更強(qiáng)的能力也意味著更昂貴的成本,OpenAI總結(jié)o1的特點(diǎn)就是:更大、更強(qiáng)、更慢、更貴。比如,通過(guò)API使用o1預(yù)覽版,輸入每百萬(wàn)token要收費(fèi)15美元,與之相比GPT-4o的價(jià)格為5美元;輸出每百萬(wàn)token要收費(fèi)60美元,與之相比GPT-4o的價(jià)格為15美元。

作為補(bǔ)充類(lèi)型的模型,OpenAI o1的發(fā)布讓推理芯片在云端大模型里面扮演了更加重要的角色,相關(guān)芯片也迎來(lái)了更大的產(chǎn)業(yè)機(jī)遇。

注重推理的OpenAI o1

根據(jù)OpenAI的介紹,o1是首個(gè)經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練的模型,在輸出回答之前,會(huì)產(chǎn)生一個(gè)很長(zhǎng)的思維鏈,以此增強(qiáng)模型的能力。OpenAI將其定義為創(chuàng)新的“思維鏈”(chain of thought)模式,采用了大規(guī)模強(qiáng)化學(xué)習(xí)算法,可以幫助模型在思考的過(guò)程中識(shí)別并糾正錯(cuò)誤,將復(fù)雜問(wèn)題分解成更簡(jiǎn)單的部分,并在必要時(shí)嘗試不同的策略。

對(duì)此,OpenAI研究負(fù)責(zé)人杰里?特沃雷克(Jerry Tworek)表示,OpenAI為o1模型設(shè)計(jì)了全新的優(yōu)化算法和專(zhuān)門(mén)為其定制的新訓(xùn)練數(shù)據(jù)集,“思維鏈”可以類(lèi)似于人類(lèi)通過(guò)逐步解決問(wèn)題的方式處理問(wèn)題,能夠顯著減少模型幻覺(jué)。

所謂的大模型幻覺(jué)是指在深度學(xué)習(xí)領(lǐng)域中,尤其是涉及大型神經(jīng)網(wǎng)絡(luò)時(shí),模型展現(xiàn)出在理論上不應(yīng)具備的性能或能力。這種現(xiàn)象可能導(dǎo)致誤導(dǎo)性的結(jié)果,表現(xiàn)為在訓(xùn)練數(shù)據(jù)上過(guò)度擬合,使得模型在未曾見(jiàn)過(guò)的數(shù)據(jù)上表現(xiàn)異常。這種過(guò)度擬合可能是由于模型的復(fù)雜性和訓(xùn)練數(shù)據(jù)的不足導(dǎo)致的,形成了一種虛假的表現(xiàn),行業(yè)人士將其描述為幻覺(jué)。

也就是說(shuō),OpenAI o1能夠經(jīng)過(guò)思考之后,給出更加精準(zhǔn)的答案。正如上文提到的,OpenAI o1在數(shù)理化生等領(lǐng)域展示了人類(lèi)博士水平的能力。在美國(guó)數(shù)學(xué)奧林匹克(AIME)的資格賽中位列美國(guó)前500名;在國(guó)際奧林匹克數(shù)學(xué)競(jìng)賽(IMO)中解決了83%的問(wèn)題;在物理、生物和化學(xué)問(wèn)題的基準(zhǔn)測(cè)試(GPQA)上超越了人類(lèi)博士水平的準(zhǔn)確率;在Codeforces編程比賽中,新模型Elo等級(jí)為1807,表現(xiàn)優(yōu)于93%的競(jìng)爭(zhēng)者。在實(shí)際應(yīng)用中,醫(yī)療保健研究人員可以使用o1為細(xì)胞測(cè)序數(shù)據(jù)添加注釋?zhuān)锢韺W(xué)家可以使用o1生成量子光學(xué)所需的復(fù)雜數(shù)學(xué)公式,等等。

640 (1).png

圖源:OpenAI

o1系列包含三款模型:OpenAI o1、OpenAI o1-preview和OpenAI o1-mini。其中,o1-preview是o1模型的預(yù)覽版,這個(gè)版本更注重深度推理處理,每周限制使用30條消息;而o1-mini則是o1系列中的小尺寸版,這個(gè)版本更高效、劃算,適用于編碼任務(wù),價(jià)格比o1-preview便宜80%,每周限制使用50條消息;OpenAI o1目前暫不對(duì)外開(kāi)放。

OpenAI o1的發(fā)布也透露了后續(xù)GPT-5的升級(jí)方向。OpenAI首席技術(shù)官米拉·穆拉蒂(Mira Murati)指出,“GPT-5預(yù)計(jì)將融合本次展示的推理技術(shù)。我們有兩個(gè)發(fā)展方向,一個(gè)是規(guī)模擴(kuò)展,另一個(gè)是推理能力提升,我們希望最終將兩者結(jié)合。”

云端推理芯片的大機(jī)遇

通過(guò)使用“思維鏈”算法模型,OpenAI o1擁有更強(qiáng)大的推理能力,在復(fù)雜邏輯問(wèn)題中的表現(xiàn)已經(jīng)接近甚至超越了人類(lèi)博士生。不過(guò),這也就意味著,OpenAI需要為OpenAI o1配備一個(gè)強(qiáng)大的推理算力集群,以幫助完成OpenAI o1應(yīng)對(duì)每一個(gè)復(fù)雜問(wèn)題時(shí)的“思維鏈”,這個(gè)深度思考的推理算力需求,相較于此前的GPT-4、GPT-4o等模型明顯要大得多,這從OpenAI o1的使用成本就可以看出來(lái)。

由于OpenAI一直引領(lǐng)全球大模型產(chǎn)業(yè)發(fā)展,相信不久后就會(huì)出現(xiàn)一大批類(lèi)OpenAI o1的大模型。屆時(shí),全球AI大模型的水平將邁上一個(gè)新臺(tái)階,AI大模型對(duì)推理算力的需求也將倍增,甚至是指數(shù)級(jí)增長(zhǎng)。

根據(jù)研究機(jī)構(gòu)Futurum Group的統(tǒng)計(jì)數(shù)據(jù),2023年全球云端AI處理器和加速器市場(chǎng)規(guī)模為377億美元,其中CPU份額為20.5%,GPU份額為73.5%,XPU的份額為3%,ASIC的份額為3%。預(yù)計(jì)到2024年,全球云端AI處理器和加速器市場(chǎng)規(guī)模將達(dá)到563億美元,同比增長(zhǎng)49.3%。到2028年增長(zhǎng)至1383億美元,未來(lái)幾年的年復(fù)合增長(zhǎng)率高達(dá)29.7%。

同時(shí),目前英偉達(dá)GPU是主要的云端訓(xùn)練和推理芯片,F(xiàn)uturum Group的數(shù)據(jù)顯示,英偉達(dá)在AI GPU的市場(chǎng)占比高達(dá)92%。英偉達(dá)CEO黃仁勛此前表示,過(guò)去一年里,英偉達(dá)GPU在云端訓(xùn)練和推理的應(yīng)用占比為6:4。以此推算,目前全球云端AI推理芯片市場(chǎng)規(guī)模已經(jīng)非??捎^。

隨著類(lèi)OpenAI o1大模型的出現(xiàn),云端AI推理芯片的需求預(yù)計(jì)將進(jìn)一步暴漲,英偉達(dá)、谷歌、AMD、英特爾等國(guó)際巨頭的相關(guān)業(yè)務(wù)預(yù)計(jì)將大幅增長(zhǎng)。同時(shí),國(guó)產(chǎn)高性能計(jì)算芯片預(yù)計(jì)也將迎來(lái)巨大的產(chǎn)業(yè)機(jī)會(huì),包括燧原科技、壁仞科技、寒武紀(jì)、摩爾線(xiàn)程、天數(shù)智芯、平頭哥半導(dǎo)體、昆侖芯、瀚博半導(dǎo)體等公司都有布局云端推理芯片。

以燧原科技為例,該公司人工智能推理加速卡云燧i20在行業(yè)內(nèi)已經(jīng)廣為人知。云燧i20是基于邃思2.5芯片打造的面向數(shù)據(jù)中心的第二代人工智能推理加速卡,具有高能效、模型覆蓋面廣、易部署易運(yùn)維等特點(diǎn),可廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別與合成、自然語(yǔ)言處理、搜索與推薦等推理場(chǎng)景。

再比如天數(shù)智芯的智鎧100,支持FP32、FP16、INT8等多精度推理混合計(jì)算,實(shí)現(xiàn)了指令集增強(qiáng)、算力密度提升、計(jì)算存儲(chǔ)再平衡,相較于市場(chǎng)上現(xiàn)有主流產(chǎn)品,智鎧100將提供2-3倍的實(shí)際使用性能。

第三個(gè)例子是摩爾線(xiàn)程的大模型智算加速卡MTT S4000,可用于AI大模型的訓(xùn)練、微調(diào)和推理。MTT S4000采用第三代MUSA架構(gòu),配備了128個(gè)Tensor核心,單卡支持48GB顯存和768GB/s的顯存帶寬?;谀柧€(xiàn)程自研MTLink技術(shù),MTT S4000可以支持多卡互聯(lián),支持千卡集群基礎(chǔ)設(shè)施建設(shè),加速千億參數(shù)大語(yǔ)言模型計(jì)算。

隨著類(lèi)OpenAI o1大模型的發(fā)布,上述這些產(chǎn)品以及后續(xù)迭代的產(chǎn)品都有巨大的增量市場(chǎng)空間。

結(jié)語(yǔ)

OpenAI o1的出現(xiàn)是一個(gè)劃時(shí)代的產(chǎn)品,它可以進(jìn)行通用復(fù)雜推理,然后給出更加精準(zhǔn)的答案。OpenAI o1讓AI大模型向著類(lèi)人智能邁出了堅(jiān)實(shí)的一步。當(dāng)然,OpenAI o1算法的形態(tài)要求其需要更強(qiáng)大的推理算力支撐,必將帶動(dòng)全球云端推理芯片需求的爆發(fā)。隨著類(lèi)OpenAI o1逐漸出現(xiàn),國(guó)產(chǎn)云端推理芯片也會(huì)從巨大的藍(lán)海市場(chǎng)里分一杯羹。

THEEND

最新評(píng)論(評(píng)論僅代表用戶(hù)觀點(diǎn))

更多
暫無(wú)評(píng)論