生成式AI,給邊端埋下大彩蛋

在邊緣市場(chǎng),高通正在做類似的事情,不過與英偉達(dá)相反,它是從通信連接能力向算力進(jìn)發(fā)。與英偉達(dá)在云端的計(jì)算能力相對(duì)應(yīng),高通在無線通信基帶、手機(jī)計(jì)算芯片市場(chǎng),都占據(jù)領(lǐng)先地位。隨著“算力”成為AI時(shí)代的寶貴資源,高通已經(jīng)不滿足于通信市場(chǎng),而是希望集連接+計(jì)算能力于一身,從邊緣側(cè)進(jìn)攻AI大市場(chǎng)。

本文來自微信公眾號(hào)“與非網(wǎng)eefocus”,作者/張慧娟。

成式AI因ChatGPT的風(fēng)靡不斷刷新熱度,隨之而來的是進(jìn)一步的探索和落地嘗試。一個(gè)趨勢(shì)是,云端的機(jī)遇正傳導(dǎo)至邊緣和端側(cè),給這些市場(chǎng)埋下一顆大彩蛋。

混合AI的機(jī)遇

高通高級(jí)副總裁Alex Katouzian最近表示,高通正在從通信公司轉(zhuǎn)型為“智能邊緣計(jì)算”公司。他指出,“隨著連接設(shè)備和數(shù)據(jù)流量加速增長(zhǎng),疊加數(shù)據(jù)中心成本攀升,(我們)不可能將所有內(nèi)容都發(fā)送到云端。”

高通看到的機(jī)遇,其實(shí)也反映了AI當(dāng)下的兩大趨勢(shì):

首先,不止云端,邊緣AI成為必然趨勢(shì),邊緣計(jì)算具有低時(shí)延、降低帶寬依賴、降低成本、數(shù)據(jù)可控、高可靠性等核心優(yōu)勢(shì),可與云端計(jì)算互補(bǔ)協(xié)同,是解決推理加速最后一公里的關(guān)鍵所在。

其次,“連接+計(jì)算”的能力越來越關(guān)鍵。

在云端市場(chǎng),英偉達(dá)正在實(shí)現(xiàn)從計(jì)算到連接能力的突破,隨著模型參數(shù)的急劇膨脹、GPU要處理和傳輸?shù)臄?shù)據(jù)量飆升,英偉達(dá)通過升級(jí)NVLink系統(tǒng)、賦予以太網(wǎng)AI能力,使網(wǎng)絡(luò)連接技術(shù)攀上了新臺(tái)階。

在邊緣市場(chǎng),高通正在做類似的事情,不過與英偉達(dá)相反,它是從通信連接能力向算力進(jìn)發(fā)。與英偉達(dá)在云端的計(jì)算能力相對(duì)應(yīng),高通在無線通信基帶、手機(jī)計(jì)算芯片市場(chǎng),都占據(jù)領(lǐng)先地位。隨著“算力”成為AI時(shí)代的寶貴資源,高通已經(jīng)不滿足于通信市場(chǎng),而是希望集連接+計(jì)算能力于一身,從邊緣側(cè)進(jìn)攻AI大市場(chǎng)。

那么,高通在邊緣AI市場(chǎng)主打什么戰(zhàn)略?目前看來,主要是云邊一體的混合AI路徑。從高通已有的模型落地案例來看,其邊緣大模型相當(dāng)于云端大模型的“感知器官”,從而實(shí)現(xiàn)AI功能在終端設(shè)備的實(shí)現(xiàn)。

今年2月,高通就利用AI軟件棧執(zhí)行了全棧的AI優(yōu)化,首次在Android智能手機(jī)上部署了Stable Diffusion。在這個(gè)場(chǎng)景中,用戶對(duì)著手機(jī)說話,自動(dòng)語音識(shí)別AI模型(如Whisper)可以在手機(jī)設(shè)備上將語音轉(zhuǎn)換為文本,然后發(fā)送到云端,再由云端運(yùn)行大模型,回發(fā)文本答案。

根據(jù)高通最近發(fā)布的混合AI白皮書,上述場(chǎng)景就是一個(gè)典型的混合AI場(chǎng)景。并且在未來的進(jìn)階版本中,設(shè)備端AI可以承擔(dān)更多處理,通過與調(diào)度程序協(xié)作,可以基于上下文提供更個(gè)性化的提示給云端,例如:用戶要求手機(jī)預(yù)約和朋友在最愛的餐廳吃飯,對(duì)簡(jiǎn)單查詢、較小的模型可在設(shè)備上運(yùn)行而無需云交互;如果用戶需要復(fù)雜信息,則本地將需求轉(zhuǎn)化為提示發(fā)給云端大模型并返回詳細(xì)答案。

高通認(rèn)為,混合AI主要有以下優(yōu)點(diǎn):

第一,經(jīng)濟(jì)性:降低云端推理成本、高效利用邊緣算力、降低AI應(yīng)用開發(fā)門檻;

第二,能耗低:邊緣設(shè)備可以通過較低能耗運(yùn)行大模型,若考慮處理和數(shù)據(jù)傳輸?shù)纫蛩?,能耗?jié)約更加顯著;

第三,可靠性:邊緣AI不受網(wǎng)絡(luò)狀況影響,運(yùn)行更加穩(wěn)定;

第四,隱私性:數(shù)據(jù)完全在本地推理,大幅降低泄密風(fēng)險(xiǎn);

第五,個(gè)性化:邊緣設(shè)備可以通過用戶真實(shí)生活中的行為、價(jià)值觀、痛點(diǎn)、需求、關(guān)注問題等信息,形成個(gè)人畫像,提供更為個(gè)性化服務(wù)。

預(yù)計(jì)2023年,邊緣AI將覆蓋10億參數(shù)以下的各類模型。

為什么要在邊、端部署生成式AI?

目前,端、邊的市場(chǎng)需求已經(jīng)足夠豐富,小到錄音筆、手機(jī),大到ADAS輔助駕駛、自動(dòng)駕駛……各類應(yīng)用都在響應(yīng)AI趨勢(shì)進(jìn)行升級(jí)。那么,生成式AI的落地,現(xiàn)實(shí)嗎?有必要嗎?在與一些業(yè)內(nèi)人士的交流中,他們已經(jīng)看到了足夠的理由和空間。

比如將Transformer大模型應(yīng)用在視覺領(lǐng)域,它將具有一定的畫面語意理解能力,有希望解決以往的一些痛點(diǎn)。AI數(shù)據(jù)和模型的部署流程通常是:采集數(shù)據(jù)—標(biāo)注—訓(xùn)練,那么,一旦出現(xiàn)沒見過的場(chǎng)景,或是某場(chǎng)景下的數(shù)據(jù)沒有標(biāo)注過,就會(huì)導(dǎo)致應(yīng)用效果大打折扣或無法落地。

以河道垃圾監(jiān)測(cè)的視覺應(yīng)用為例:當(dāng)河道上出現(xiàn)了一種新垃圾,是之前數(shù)據(jù)標(biāo)注/訓(xùn)練沒有的。如果是以往的AI系統(tǒng)就會(huì)無法識(shí)別,必須重新采集。但有了采用無監(jiān)督訓(xùn)練的大模型之后,無論出現(xiàn)什么樣新類型的垃圾,系統(tǒng)都能自主推理和判斷,大大提高了效率和應(yīng)用效果。

基于類似上述提升做出判斷,愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉認(rèn)為,一直以來,AI落地標(biāo)準(zhǔn)化場(chǎng)景效果較好,而在一些通用場(chǎng)景,除非增加針對(duì)性的投入,才能進(jìn)一步提升應(yīng)用效果,但這同時(shí)意味著更高的成本,成為AI加速應(yīng)用落地的主要困難。

從大模型帶來的改變來看,它能夠降低邊際場(chǎng)景的AI成本,因?yàn)樗恍枰獙?duì)長(zhǎng)尾場(chǎng)景做專門的、從頭到尾的適配,通過部署預(yù)訓(xùn)練的大模型就能達(dá)到比較好的效果,這將使AI在端側(cè)和邊緣側(cè)的應(yīng)用再上一個(gè)臺(tái)階。

安謀科技產(chǎn)品總監(jiān)楊磊認(rèn)為,ChatGPT等應(yīng)用催生了對(duì)算力需求指數(shù)級(jí)的提升,而云端的需求早晚會(huì)傳導(dǎo)到端側(cè),屆時(shí),端側(cè)原有的CPU能力是不足以負(fù)擔(dān)的。此外,應(yīng)用的需求也會(huì)越來越豐富,包括成本、性能、功能特性等核心指標(biāo)。“很難通過一種方案或一種架構(gòu)去滿足所有,還是需要各類處理器的創(chuàng)新聯(lián)動(dòng),以更高的異構(gòu)水平來滿足市場(chǎng)的訴求”,楊磊指出了異構(gòu)加速平臺(tái)的發(fā)展機(jī)遇。

近些年來,AI已經(jīng)廣泛應(yīng)用于物聯(lián)網(wǎng)的各個(gè)垂直領(lǐng)域,包括零售、安全、能源和公共事業(yè)、供應(yīng)鏈和資產(chǎn)管理等。而通過生成式AI的發(fā)展,各類AIoT應(yīng)用在醞釀新一輪創(chuàng)新。

未來,智能終端接入大模型的方式將主要有:直接調(diào)用、大模型小型化后再調(diào)用、以及接入行業(yè)專屬大模型等。這些方式都將帶動(dòng)邊緣和端側(cè)計(jì)算的成長(zhǎng),帶來使用體驗(yàn)的提升,或?qū)⒓铀傧嚓P(guān)設(shè)備的更新迭代。以手機(jī)為例,當(dāng)前正面臨消費(fèi)者換機(jī)動(dòng)力不足、總銷量下滑明顯的局面,而AI大語言模型的小型化、輕量化,可望在終端應(yīng)用中內(nèi)嵌部署,帶來終端推理計(jì)算能力的提升,從而推動(dòng)智能終端再升級(jí)。

低功耗設(shè)備積極擁抱大模型

如何在低功耗環(huán)境下,讓AI更高效地運(yùn)行——這是業(yè)界近幾年一直在探索的方向。不過,生成式AI展現(xiàn)的巨大潛力,正在加劇端側(cè)AI市場(chǎng)的步伐,特別是已有成熟生態(tài)的動(dòng)向值得關(guān)注。

幾周前,Google I/O大會(huì)重點(diǎn)強(qiáng)調(diào)將把生成式AI引入安卓生態(tài)系統(tǒng),微軟Build開發(fā)者大會(huì)也在談?wù)搶⑵湟隬indows 11操作系統(tǒng)。

Arm最近發(fā)布2023全面計(jì)算解決方案(TCS23)時(shí),Arm高級(jí)副總裁兼終端事業(yè)部總經(jīng)理Chris Bergey談到,未來將是一個(gè)“混合(Hybrid)的環(huán)境”,即大型語言模型在云端運(yùn)行,但考慮到智能手機(jī)或其他計(jì)算設(shè)備在本地運(yùn)行AI的隱私和能源效率等問題,用戶更愿意在設(shè)備上運(yùn)行較小的模型。這意味著,大語言模型將塑造計(jì)算的未來,現(xiàn)有計(jì)算平臺(tái)需要進(jìn)一步提升AI方面的工作負(fù)載適配。Chris Bergey認(rèn)為,生成式AI將給未來的智能手機(jī)生態(tài)系統(tǒng)帶來深遠(yuǎn)影響。

這一趨勢(shì)已在Arm TCS23中有所體現(xiàn),主要包括:為滿足高性能、高能效、多線程用例的CPU集群設(shè)計(jì),針對(duì)大數(shù)據(jù)流量的三級(jí)緩存和電源設(shè)計(jì)等等,這些重大升級(jí)也將助推生成式AI在端側(cè)的部署。

不止高通、谷歌、Arm對(duì)云端之外的市場(chǎng)表示重視,英特爾最近也分享了生成式AI方面的動(dòng)向和觀點(diǎn)。與之前“讓AI無所不在”的方向一致,英特爾也強(qiáng)調(diào)了“讓生成式AI無所不在”的觀點(diǎn)。

在搭載第12代酷睿處理器的筆記本電腦上,英特爾展示了運(yùn)行Stable Diffusion的效果,不需要任何獨(dú)立顯卡,直接利用集成顯卡就可以在二、三十秒內(nèi)生成一張圖片。也就是說,不需要任何特殊設(shè)備,不需要訪問云端,就可以將任意模型和算法直接部署到本地筆記本上。當(dāng)然,如果用戶有Arc獨(dú)立顯卡,那么速度可以更快,只要三、四秒就可以生成一張圖片。

這個(gè)場(chǎng)景的獨(dú)特之處,一方面在于基于異構(gòu)計(jì)算來跑生成式AI,另一方面展示了低功耗PC設(shè)備跑Stable Diffusion大模型、實(shí)現(xiàn)文生圖等生成式AI的潛力。

在生成式AI的普及方面,英特爾強(qiáng)調(diào)了端到端的計(jì)算能力。英特爾院士、大數(shù)據(jù)技術(shù)全球首席技術(shù)官戴金權(quán)認(rèn)為,“為了實(shí)現(xiàn)AI無所不在,計(jì)算也要無所不在。在通用的、無所不在的、甚至是消費(fèi)級(jí)的計(jì)算上提供AI能力,就真的可以做到AI、包括生成式AI的無所不在。”

生成式AI對(duì)軟硬件架構(gòu)的影響?

邊緣AI已經(jīng)成為業(yè)界共識(shí),而生成式AI正在給邊緣帶來更大機(jī)會(huì),業(yè)界對(duì)邊緣的理解也將進(jìn)一步拓展。

不同于由超大型數(shù)據(jù)中心、智算中心等形式部署的云端算力,邊緣算力的部署方式隨著智能設(shè)備、邊緣數(shù)據(jù)中心的出現(xiàn)變得多樣化。邊緣計(jì)算可以是離模型推理發(fā)生處最近的算力,也可以是幫助云端算力進(jìn)行預(yù)推理的算力。

生成式AI對(duì)邊緣、端側(cè)軟硬件架構(gòu)有哪些影響?戴金權(quán)認(rèn)為,未來,一個(gè)很可能的場(chǎng)景就是生成式AI被大量使用、提高工作效率,未來的工作流程進(jìn)入自動(dòng)化,這對(duì)軟硬件架構(gòu)都帶來影響。

大模型當(dāng)前基本以Transformer架構(gòu)作為基礎(chǔ)構(gòu)件,它對(duì)內(nèi)存的需求,包括內(nèi)存帶寬、內(nèi)存容量以及相應(yīng)的計(jì)算需求,業(yè)界還在進(jìn)行大量的研究,以便更好地進(jìn)行加速。此外,對(duì)訓(xùn)練、推理芯片的架構(gòu)設(shè)計(jì),以及對(duì)不同算法級(jí)別、不同場(chǎng)景的適配等等,都會(huì)對(duì)AI芯片甚至所有計(jì)算芯片帶來深遠(yuǎn)影響。

未來,Transformer等大模型可能會(huì)產(chǎn)生更大的尺寸,可能是今天的幾倍、幾十倍甚至更高,再結(jié)合多模態(tài)融合等需求,將會(huì)對(duì)軟件算法的設(shè)計(jì),比如低精度、低比特、壓縮、稀疏化,包括注意力機(jī)制設(shè)計(jì)等產(chǎn)生不同需求。未來,軟件算法設(shè)計(jì)的多樣化,是有助于滿足生成式AI和大語言模型算力需求的重要組成部分。

寫在最后

從發(fā)展的眼光看,生成式AI仍處于非常早期的階段,在邊緣、端側(cè)的研究和落地探索也在初期。

除了邊緣、端側(cè)市場(chǎng)的主動(dòng)擁抱,一些趨勢(shì)也在推動(dòng)云邊端一體的生成式AI布局。

比如,AI模型推理Token費(fèi)用較高,如果需要成熟商用,邊緣預(yù)處理將是必選項(xiàng)。用戶的多樣化需求進(jìn)行本地預(yù)處理后,簡(jiǎn)單需求就可以直接利用本地模型和算力推理,復(fù)雜需求通過邊緣算力預(yù)處理后,可以精簡(jiǎn)成最少的Token發(fā)送至云端,從而能夠以最低成本實(shí)現(xiàn)應(yīng)用功能,加速商業(yè)化。

再比如,文中提到的安卓、Windows、Arm等已有成熟生態(tài)的積極部署,也將加速生成式AI向邊緣和端側(cè)市場(chǎng)的滲透速度。未來,它們都將成為生成式AI體系中的重要部分,成為AI連接萬物的毛細(xì)血管。

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無評(píng)論