本文來(lái)自微信公眾號(hào)“半導(dǎo)體行業(yè)觀察”。
隨著人工智能擴(kuò)展到新的應(yīng)用程序，推理和一些訓(xùn)練正在被推向更小的設(shè)備。
人工智能在邊緣變得越來(lái)越復(fù)雜和普遍，正在進(jìn)入新的應(yīng)用領(lǐng)域，甚至承擔(dān)一些幾乎完全在大型數(shù)據(jù)中心使用大量數(shù)據(jù)進(jìn)行的算法訓(xùn)練。
這一轉(zhuǎn)變背后有幾個(gè)關(guān)鍵的變化。第一個(gè)涉及新的芯片架構(gòu)，專注于更快地處理、移動(dòng)和存儲(chǔ)數(shù)據(jù)。這些是數(shù)據(jù)中心的關(guān)鍵設(shè)計(jì)目標(biāo)，定制設(shè)計(jì)可以加速數(shù)據(jù)處理和移動(dòng)，但它們?cè)谶吘壴O(shè)備中相對(duì)較新——尤其是那些連接到電池的設(shè)備——因?yàn)橹暗拇蠖鄶?shù)設(shè)計(jì)都專注于處理器的高利用率，這是能源密集型的。
然而，通過(guò)將這些設(shè)計(jì)劃分為不同的函數(shù)，并使用更稀疏的算法并強(qiáng)制更多的權(quán)重為零，執(zhí)行計(jì)算所需的能量顯著減少。這反過(guò)來(lái)又為這些架構(gòu)在更廣泛的應(yīng)用和市場(chǎng)中使用打開了大門。
Flex Logix軟件高級(jí)副總裁兼首席技術(shù)官Cheng Wang表示：“邊緣領(lǐng)域正在發(fā)生非?？焖俚难葑?。”“如果你看一下5G，它正在向人工智能神經(jīng)網(wǎng)絡(luò)方向發(fā)展。過(guò)去，信道估計(jì)全部由DSP處理器完成。現(xiàn)在人們正在談?wù)撨\(yùn)行CNN圖。對(duì)于5G，大部分秘密在于信道估計(jì)——估計(jì)信道利用率，然后進(jìn)行補(bǔ)償以解決信道中發(fā)生的信號(hào)失真問題。這在很大程度上與您如何智能地為信號(hào)創(chuàng)建最準(zhǔn)確的通道模型有關(guān)，以便您可以獲得最佳的高質(zhì)量重建?，F(xiàn)在正在向人工智能邁進(jìn)。”
圖1：實(shí)時(shí)識(shí)別邊緣物體
這基本上是基于向量矩陣乘法的自適應(yīng)濾波。“目前，5G還沒有完全部署，因?yàn)樗芴籼蓿?rdquo;王說(shuō)。“大多數(shù)高帶寬技術(shù)需要視距和大量本地?zé)o線電單元來(lái)提供良好的信道和高帶寬通信。但現(xiàn)在他們將使用小型、本地化的無(wú)線電單元，這些單元應(yīng)該無(wú)處不在，而不是像高速公路邊的塔那樣試圖為大半徑的用戶提供服務(wù)。”
數(shù)據(jù)量各不相同
第二個(gè)轉(zhuǎn)變是認(rèn)識(shí)到數(shù)據(jù)量可能會(huì)根據(jù)應(yīng)用程序的不同而發(fā)生顯著變化。事實(shí)上，一些邊緣設(shè)備實(shí)際上可以用來(lái)訓(xùn)練簡(jiǎn)單的算法，而不是依賴于數(shù)據(jù)中心的復(fù)雜訓(xùn)練。
“我們正在討論對(duì)簡(jiǎn)單傳感器數(shù)據(jù)進(jìn)行培訓(xùn)，”瑞薩電子業(yè)務(wù)加速和全球生態(tài)系統(tǒng)高級(jí)總監(jiān)Kaushal Vora說(shuō)道。“這些通常不是大型深度學(xué)習(xí)模型。這些可能是數(shù)學(xué)模型、基于信號(hào)處理的模型以及類似的東西，它們?nèi)栽谶M(jìn)行機(jī)器學(xué)習(xí)。這些可以輕松地以非常低的功率預(yù)算進(jìn)行動(dòng)態(tài)訓(xùn)練。例如，模型有時(shí)會(huì)隨著環(huán)境條件而漂移，而訓(xùn)練時(shí)可能沒有考慮到這一點(diǎn)。可以通過(guò)訓(xùn)練在邊緣完成簡(jiǎn)單的漂移校正。”
其他人則指出了更雄心勃勃的邊緣培訓(xùn)目標(biāo)。Alphawave Semi首席技術(shù)官托尼·陳·卡魯松(Tony Chan Carusone)預(yù)測(cè)，供應(yīng)商可能會(huì)創(chuàng)建輕量級(jí)訓(xùn)練芯片或“推理+”芯片，這些芯片將是帶有可以執(zhí)行訓(xùn)練的附加組件的推理芯片。“Chiplet可能是完美的推動(dòng)者，因?yàn)槟梢陨梢粋€(gè)具有更多內(nèi)存的變體來(lái)適應(yīng)這種用例，而無(wú)需從頭開始重新構(gòu)建所有內(nèi)容。您可以混合和匹配現(xiàn)有的東西，制作出超大規(guī)模數(shù)據(jù)中心使用的相同訓(xùn)練芯片的輕量級(jí)版本，可能需要更少的內(nèi)存或更少的計(jì)算塊，并且能源成本較低。”
然而，基本區(qū)別不太可能融合。“訓(xùn)練和推理之間存在很大差異，”Chan Carusone說(shuō)。“工作量如此之大，即使在大規(guī)模并行基礎(chǔ)設(shè)施上，訓(xùn)練一些最有用的模型也需要幾個(gè)月的時(shí)間。而對(duì)于推理，通常強(qiáng)調(diào)的是速度、響應(yīng)度或延遲，你能多快地得出答案。”
但在大多數(shù)情況下，邊緣的真正價(jià)值在于推理。大多數(shù)訓(xùn)練仍然是在數(shù)據(jù)中心使用模型進(jìn)行的，然后進(jìn)行超級(jí)優(yōu)化，以允許在邊緣進(jìn)行更高效的計(jì)算推理。因此，定制硬件對(duì)于推理變得越來(lái)越重要。
“我們將看到推理無(wú)處不在，”西門子EDA項(xiàng)目總監(jiān)Russell Klein說(shuō)。“挑戰(zhàn)在于，你是根據(jù)非常通用的目的進(jìn)行推斷還是定制它？”
答案取決于應(yīng)用程序。“你的定制程度越高，你就可以創(chuàng)造出更小、更快、功耗更低的設(shè)備，”克萊因指出。“但是你讓自己面臨可能出現(xiàn)新用例或新算法的風(fēng)險(xiǎn)，而現(xiàn)在你無(wú)法在現(xiàn)場(chǎng)改變它。例如，我們可能會(huì)創(chuàng)建一個(gè)對(duì)象檢測(cè)算法，其中的卷積在硬件中內(nèi)置了3 x 3濾波器，但它永遠(yuǎn)無(wú)法支持5 x 5濾波器。相比之下，GPU將支持任意數(shù)量的濾波器，但它不會(huì)那么小且節(jié)能。”
這就是邊緣定義可能非常令人困惑的地方。邊緣從端點(diǎn)一直延伸到云端，可能的應(yīng)用程序和排列的數(shù)量是巨大的。它包括從網(wǎng)絡(luò)基礎(chǔ)設(shè)施到使用小型可充電電池運(yùn)行的設(shè)備的一切。
“在網(wǎng)絡(luò)世界中，一切都是為了通過(guò)管道以絕對(duì)最小的延遲、最少量的暗硅以最大的利用率盡可能快地移動(dòng)大量數(shù)據(jù)。這既描述了網(wǎng)絡(luò)，也描述了人工智能推理所需的優(yōu)勢(shì)，”Expedera營(yíng)銷副總裁Paul Karazuba說(shuō)道。“它需要能夠通過(guò)相對(duì)較小的管道以極高的利用率極快地移動(dòng)大量數(shù)據(jù)。”
與此同時(shí)，邊緣實(shí)施需要克服外形限制和環(huán)境波動(dòng)，而對(duì)于倉(cāng)庫(kù)規(guī)模的氣候控制數(shù)據(jù)中心來(lái)說(shuō)，這些甚至都不需要考慮。“在極端邊緣，最大的限制和挑戰(zhàn)是在從輕型電池中消耗最少皮焦能量的同時(shí)進(jìn)行有用的計(jì)算，”陳·卡魯松(Chan Carusone)說(shuō)。“另一個(gè)很大的限制是成本，因?yàn)檫@些通常是消費(fèi)設(shè)備。”
這些設(shè)備還需要能夠解決生成式人工智能向邊緣發(fā)展的問題，與舊的卷積神經(jīng)網(wǎng)絡(luò)(CNN)相比，對(duì)變壓器模型的需求不斷增長(zhǎng)，這給設(shè)計(jì)人員帶來(lái)了面向未來(lái)的挑戰(zhàn)。
Untether AI首席執(zhí)行官Arun Iyengar表示：“如果您的架構(gòu)無(wú)法在兩者之間無(wú)縫移動(dòng)，那么它就不會(huì)再成功。”“CNN和DNN是計(jì)算密集型網(wǎng)絡(luò)，其中TOPS很重要。相比之下，生成式人工智能是受內(nèi)存限制的。與您需要通過(guò)內(nèi)存接口引入的數(shù)據(jù)量相比，需要發(fā)生的實(shí)際應(yīng)用程序顯得相形見絀。您的架構(gòu)看起來(lái)非常不同。如果你只關(guān)注CNN，那么你會(huì)發(fā)現(xiàn)你無(wú)法傳輸數(shù)據(jù)，因?yàn)槟銢]有足夠的高帶寬鏈接到內(nèi)存，這意味著你無(wú)法在大型語(yǔ)言上做任何有意義的事情模型。”
Transformer是兩者之間的中間點(diǎn)，包括注意力頭等計(jì)算必需品，這是神經(jīng)網(wǎng)絡(luò)“注意力機(jī)制”的關(guān)鍵部分，可引導(dǎo)網(wǎng)絡(luò)的焦點(diǎn)并幫助其導(dǎo)出模式。Synopsys嵌入式視覺處理器產(chǎn)品營(yíng)銷經(jīng)理Gordon Cooper表示：“變形金剛在訓(xùn)練期間可以學(xué)會(huì)關(guān)注其他像素。”“注意力網(wǎng)絡(luò)具有更強(qiáng)的學(xué)習(xí)和表達(dá)更復(fù)雜關(guān)系的能力。”
Transformer注意力頭需要大量的計(jì)算吞吐量要求，但它們也會(huì)引入大量數(shù)據(jù)，這些數(shù)據(jù)會(huì)經(jīng)過(guò)等式的內(nèi)存部分。“書擋是計(jì)算端的CNN和內(nèi)存受限應(yīng)用程序的大型語(yǔ)言模型。
Transformer和NLP一樣，介于兩者之間。你必須仔細(xì)研究這個(gè)范圍，并弄清楚你將做出什么選擇，”艾揚(yáng)格說(shuō)。“例如，當(dāng)創(chuàng)建CNN引擎時(shí)，你的目標(biāo)是讓內(nèi)存非常接近。您正在傳輸大量活動(dòng)系數(shù)，并駐留所有權(quán)重，因此您可以盡快運(yùn)行大量此類像素。創(chuàng)建法學(xué)碩士時(shí)，目標(biāo)會(huì)發(fā)生變化。你專注于大型高速公路車道來(lái)進(jìn)行記憶，這也非?？烨曳浅Ｉ羁?。帶寬和密度變得必要，因此您可以盡快從外部提取數(shù)據(jù)。簡(jiǎn)單對(duì)比一下，如果你用CNN級(jí)別的引擎進(jìn)行錄音，那么你在最后20秒所講的內(nèi)容就是全部。但如果你做了一個(gè)真正的大數(shù)模型，具有更高的帶寬和更高的內(nèi)存密度（這就是內(nèi)存限制芯片所做的），那么你可以回顧整個(gè)對(duì)話。”
移動(dòng)數(shù)據(jù)的成本
第三個(gè)重大轉(zhuǎn)變屬于移動(dòng)數(shù)據(jù)的成本，這就是邊緣爆炸式增長(zhǎng)的全部原因。移動(dòng)數(shù)據(jù)需要消耗資源、能源和時(shí)間，并且會(huì)增加數(shù)據(jù)泄露或被盜的風(fēng)險(xiǎn)以及隱私問題。因此，可以在設(shè)備上本地完成的操作非常重要。
Chan Carusone認(rèn)為，強(qiáng)化學(xué)習(xí)可以與其他方法一起在邊緣發(fā)揮作用，特別是在涉及專有數(shù)據(jù)且隱私和安全問題日益嚴(yán)重的情況下。“對(duì)此的需求將會(huì)更大，因?yàn)椴⒉皇敲總€(gè)人都會(huì)制作自己的大規(guī)模生成模型。相反，他們可能會(huì)獲得許可，并根據(jù)其專有數(shù)據(jù)和用例對(duì)該模型進(jìn)行自己的改進(jìn)。大型超大規(guī)模中心將不斷改進(jìn)和重新訓(xùn)練大型模型，并在其他地方針對(duì)公司不想冒險(xiǎn)共享的數(shù)據(jù)進(jìn)行改進(jìn)。隨著這種技術(shù)的發(fā)展，你更有可能在邊緣看到更有效的方法。”
盡管如此，在邊緣運(yùn)行的模型實(shí)際上可能需要更強(qiáng)化的訓(xùn)練。“要建立大型語(yǔ)言模型，培訓(xùn)非常重要且昂貴，”艾揚(yáng)格說(shuō)。“但要做一個(gè)小模型，訓(xùn)練就更重要了，因?yàn)槟惚仨毧s小絕對(duì)必要的參數(shù)范圍。而對(duì)于大型語(yǔ)言模型，如果您有1.8萬(wàn)億個(gè)參數(shù)，那么丟失一些參數(shù)也沒關(guān)系。您的部署（這是一個(gè)推論）將在一個(gè)非常小的盒子中進(jìn)行。它需要非常緊湊并且能夠執(zhí)行必要的操作，因此與數(shù)據(jù)中心內(nèi)的傳統(tǒng)大型語(yǔ)言類型模型相比，邊緣應(yīng)用程序的訓(xùn)練變得更具挑戰(zhàn)性。”
未來(lái)
雖然邊緣人工智能的興起是一個(gè)重要趨勢(shì)，但總會(huì)有一些用例需要數(shù)據(jù)中心的電源和數(shù)據(jù)整合。
“如果你正在尋找模式，你必須集體行動(dòng)，”Quadric首席營(yíng)銷官Steve Roddy指出。“以所謂的‘門廊海盜’為例。如果我有10,000個(gè)攝像頭進(jìn)行報(bào)告，我就可以找出竊賊挨家挨戶偷包裹的位置，并提醒警方他們下一步可能會(huì)去哪里。最終，這將是一種相互依賴。您將能夠在信號(hào)出現(xiàn)時(shí)對(duì)其進(jìn)行處理，并且能夠在云中分析模式。”
挑戰(zhàn)在于找出什么在哪里最有效，因?yàn)檫^(guò)于具體也會(huì)導(dǎo)致問題。“需要考慮的一個(gè)權(quán)衡是，您通常無(wú)法很好地了解環(huán)境中所有事物所發(fā)生的情況，”瑞薩電子業(yè)務(wù)開發(fā)經(jīng)理Nalin Balan表示。“如果您在一臺(tái)特定設(shè)備的邊緣進(jìn)行學(xué)習(xí)，它可以推廣到所有其他端點(diǎn)或設(shè)備嗎？”
最后，每個(gè)人都對(duì)這個(gè)新領(lǐng)域的快速發(fā)展感到既樂觀又有點(diǎn)敬畏。Untether AI表示：“如果現(xiàn)在有一個(gè)無(wú)法在邊緣完成的大型語(yǔ)言模型，我可以保證最終會(huì)有一個(gè)較小版本的LLM，可以在盡可能遠(yuǎn)的邊緣進(jìn)行推理。”艾揚(yáng)格。“我堅(jiān)信推理領(lǐng)域沒有限制，我們將通過(guò)模型級(jí)別或芯片架構(gòu)級(jí)別找到解決限制的方法。”
