本文來自微信公眾號“電子發(fā)燒友網(wǎng)”，作者/李彎彎。
最近，在ChatGPT火了之后，國內(nèi)互聯(lián)網(wǎng)科技圈不時(shí)傳出計(jì)劃或者正在研究類ChatGPT大模型的消息。
然而在相關(guān)技術(shù)真正面世之前，近日，OpenAI又放出新消息，該公司正式開放了ChatGPT的API接口，開發(fā)人員可以將ChatGPT模型集成到他們的應(yīng)用程序和產(chǎn)品中。這意味著ChatGPT將會以更快的速度占領(lǐng)市場，因此國內(nèi)企業(yè)在大模型的研究中更要加快進(jìn)度。
在大模型發(fā)展中，國內(nèi)具備了怎樣的條件
在類ChatGPT及其他大模型的發(fā)展中，國內(nèi)是否具備相應(yīng)的條件呢？登臨科技聯(lián)合創(chuàng)始人王平日前在接受電子發(fā)燒友采訪的時(shí)候談到了幾點(diǎn)：
他認(rèn)為，國內(nèi)在這方面是具備一定條件的，首先是數(shù)據(jù)，這是大模型技術(shù)中非常重要的一個(gè)生產(chǎn)要素，國內(nèi)在數(shù)據(jù)上是有一定積累的；其次是人才，在這方面國內(nèi)有不少優(yōu)秀的算法人才，在大模型方面具備一定的知識基礎(chǔ)與經(jīng)驗(yàn)；此外，目前國內(nèi)也有比較不錯(cuò)的AI框架平臺以及具備核心技術(shù)完全自主研發(fā)能力的GPGPU廠商。整體來說整套的生產(chǎn)要素上都有一定的基礎(chǔ)，只不過在成熟度上跟OpenAI相比還存在一定差距。
具體來看，在AI框架方面，OpenAI能夠推出能力如此強(qiáng)大的ChatGPT，它應(yīng)該有自己專門的框架?，F(xiàn)在各種商用的框架，包括國產(chǎn)的飛槳paddlepaddle，以及Tensorflow或者Pytorch,其實(shí)更多是用于常規(guī)模型，而不是大模型的調(diào)度。因此在發(fā)展ChatGPT類大模型方面，還存在一些挑戰(zhàn)，需要去持續(xù)創(chuàng)新。
在人才方面，雖然目前國內(nèi)具備一些算法相關(guān)的人才，然而整體而言是處于較為緊缺的狀態(tài)。另外大模型的訓(xùn)練，也需要算法工程師具備豐富的經(jīng)驗(yàn)積累，因?yàn)槟Ｐ吞?，中間涉及很多技術(shù)，這并不是短時(shí)間砸錢就能達(dá)到的。
在硬件層面，國內(nèi)的GPGPU具有自身的特色，甚至在一些領(lǐng)域比NVIDIA更具優(yōu)勢，在ChatGPT或者相關(guān)大模型上，也有它的優(yōu)勢。不過整體來看，還是存在差距，需要不斷進(jìn)行創(chuàng)新和迭代，要不停的向前走。
大模型發(fā)展對GPGPU提出了怎樣的要求
ChatGPT火熱之后，可以明顯看到國內(nèi)在AI大模型方面的發(fā)展將會加速，這對國內(nèi)GPGPU來說意味著什么呢？大模型的發(fā)展，必然少不了GPGPU，GPGPU對于大模型就相當(dāng)于是發(fā)動(dòng)機(jī)之于汽車。王平認(rèn)為，近十幾年AI的再度興起，到現(xiàn)在ChatGPT的爆火，以及未來AI產(chǎn)業(yè)的發(fā)展再上一個(gè)臺階，如果沒有GPGPU，這些都不大可能會實(shí)現(xiàn)。
因?yàn)槊總€(gè)大模型訓(xùn)練和部署的背后，都有幾萬個(gè)GPGPU在支持?？上攵磥黼S著這方面的研發(fā)和應(yīng)用的普及，GPGPU市場需求將會再度迎來爆發(fā)式增長。
以電力為例，就可以很清楚的看到這個(gè)市場未來可能發(fā)生的變化。幾十年前，電力只是用在一些小用量的場景，隨著電力的供給越來越多，電器也越來越多的時(shí)候，最后電力就成了一個(gè)基本設(shè)施?？梢哉f，算力也是朝著基礎(chǔ)設(shè)施的方向在發(fā)展。在王平看來，現(xiàn)在GPGPU還遠(yuǎn)沒有到爆炸式需求的階段。
當(dāng)然在ChatGPT或者其他大模型訓(xùn)練和部署，對GPGPU或者說算力也會有更高的要求。王平談到了幾個(gè)方面：
首先從單卡層面來看，先來看一組數(shù)據(jù)，1月份的時(shí)候ChatGPT的用戶數(shù)突破1億，日訪問量有幾千萬，在這種情況下，它的運(yùn)營成本會相當(dāng)高，每天的電費(fèi)在幾十萬人民幣量級。這時(shí)候計(jì)算效率很重要，如果計(jì)算架構(gòu)相比于傳統(tǒng)的GPGPU更有優(yōu)勢的話，比如，登臨科技一些計(jì)算密度更大的產(chǎn)品，在計(jì)算效率上就更有優(yōu)勢。
其次是單卡之外，卡片間的互聯(lián)也很重要。因?yàn)樵谟脩魝?cè)工作的實(shí)際上是一個(gè)超級計(jì)算機(jī)系統(tǒng)，在訓(xùn)練的時(shí)候，帶寬、片間、服務(wù)器間的信息傳遞很重要，這就需要針對大模型的訓(xùn)練框架，在整個(gè)服務(wù)器集群的調(diào)度和協(xié)同工作中進(jìn)行升級優(yōu)化。
再者就是軟件方面，一般來說在軟硬件協(xié)同的系統(tǒng)里，軟件的重要作用不可忽視，因?yàn)橐恍┸浖５脑?，或者軟件協(xié)同調(diào)度的問題，硬件往往不能完全發(fā)揮出能力。所以我們經(jīng)?？梢钥吹?，在一些場景下，軟件稍微進(jìn)行優(yōu)化，整體應(yīng)用性能就會有百分之幾十，甚至百分之百的提升。
從硬件公司的角度來看，GPGPU是一個(gè)通用平臺，行業(yè)整體有產(chǎn)品異構(gòu)化的走向，總體來說，GPGPU存在一些性能瓶頸。登臨科技是一家專注于高性能通用計(jì)算平臺的芯片研發(fā)與技術(shù)創(chuàng)新的公司，登臨自主研發(fā)的GPU+架構(gòu)正式采用了軟件定義的片內(nèi)異構(gòu)體系，目前首款基于GPU+的系列產(chǎn)品—Goldwasser已在云至邊緣的各個(gè)應(yīng)用場景實(shí)現(xiàn)規(guī)模化落地。據(jù)王平介紹：登臨科技希望通過異構(gòu)，從由點(diǎn)及面在一些足夠大的市場領(lǐng)域，把產(chǎn)品做到比英偉達(dá)同系列產(chǎn)品更具性價(jià)比優(yōu)勢，甚至超過英偉達(dá)。
帶著這樣的出發(fā)點(diǎn)，在大型語言模型方面，登臨科技會更關(guān)心如何更好的提升產(chǎn)品的能效比。簡單來說，在同樣功耗下，登臨科技可以提供英偉達(dá)1.5到2倍的算力，在算力一致的情況下，做到單位功耗更低這樣從計(jì)算的整體性能上實(shí)現(xiàn)英偉達(dá)同類產(chǎn)品的能效比3倍的優(yōu)勢。如此一來，上面提到的電費(fèi)、運(yùn)維成本都將會有很大的節(jié)省。
小結(jié)
不難看出，以ChatGPT為代表的大語言模型發(fā)展和應(yīng)用，對人們生產(chǎn)生活意義重大。隨著它的技術(shù)和應(yīng)用逐步成熟，其對GPGPU等算力硬件的需求將會持續(xù)增加，就如同文中提到的電力的發(fā)展路徑一樣。當(dāng)然大模型對GPGPU及算力集群系統(tǒng)的也有更高的要求，比如計(jì)算效率更高，能夠節(jié)省電費(fèi)和運(yùn)維成本等，可想而知，對于硬件公司來說，誰能夠在這方面更具優(yōu)勢，誰就更能在未來大模型處處落地的時(shí)候，更占據(jù)優(yōu)勢。
