本文來自千家網(wǎng)。
人工智能(AI)正在改變當今的工業(yè)格局。從企業(yè)軟件到機器自動化的一切都受益于多層神經(jīng)網(wǎng)絡的能力（通過足夠的數(shù)據(jù)和訓練）來理解我們的世界。但隨著深度學習模型規(guī)模的不斷膨脹，為更復雜的自然語言處理(NLP)和其他人工智能應用打開了大門，所需的計算量也隨之增加。對于邊緣人工智能來說，這就是一個問題。
邊緣AI趨勢
在智能手機或車載車輛等便攜式計算硬件上部署深度學習算法，使用戶能夠獲得強大的圖像識別功能——這只是眾多用例之一。在邊緣人工智能硬件上本地運行模型可以提供針對任何連接中斷的恢復能力。
還有能源方面的考慮?？紤]到訓練具有數(shù)十億參數(shù)的模型的能源成本以及在此過程中消耗大量冷卻水，用戶開始質疑在云中運行大型人工智能算法對環(huán)境的影響。但事實證明，開發(fā)人員已經(jīng)成為修剪模型的專家，以減少深度學習推理的計算需求，而對結果的準確性影響很小。
這些效率措施對于實現(xiàn)邊緣人工智能來說是個好消息。為了理解各種方法的工作原理，首先描繪深度學習的圖景并考慮多層神經(jīng)網(wǎng)絡如何將輸入轉化為有意義的輸出是很有用的。
在抽象層面上，您可以將深度神經(jīng)網(wǎng)絡視為通用函數(shù)逼近器。給定足夠的參數(shù)，一切都可以用數(shù)學函數(shù)來表示。您可能見過以3D形式繪制時看起來像貝殼的公式或類似于樹枝的分形。事實證明，大量的人工神經(jīng)元能夠描述圖像并找到句子中缺失的單詞。
訓練這些人工智能算法涉及調整數(shù)百萬個模型權重，以使人工神經(jīng)元的模式對某些輸入敏感，例如圖像中的邊緣特征。還需要為網(wǎng)絡中的每個節(jié)點設置偏差，以確定使相應的人工神經(jīng)元“放電”所需的激活強度。
如果您曾經(jīng)見過覆蓋著旋鈕的模擬音樂合成器，這是一個很好的類比，但請將旋鈕的數(shù)量乘以一百萬或更多。我們的輸入可以是攝像機的輸入，在完成所有設置后，每當圖像中看到狗時，攝像機就會打開燈。
查看表盤上的數(shù)字，我們可能會發(fā)現(xiàn)某些參數(shù)比其他參數(shù)更重要。這給我們帶來了模型修剪的概念，這是將算法壓縮到邊緣人工智能硬件上的一種方法。
如今，開發(fā)人員使用各種方法使邊緣AI神經(jīng)網(wǎng)絡運行速度更快、尺寸更小以適應而不影響性能。一種方法是將非常小的模型權重歸零，這可以精確定位對算法行為影響很小的人工神經(jīng)元。
另一個技巧是通過幾次迭代重新訓練修剪后的模型，這可能會導致對其他參數(shù)進行微調，以恢復任何丟失的準確性。一些經(jīng)過修剪的圖像識別算法可以比原始神經(jīng)網(wǎng)絡表現(xiàn)得更有效，這對于邊緣人工智能來說是一個很好的結果。
不幸的是，大型語言模型（LLM）可能更難優(yōu)化，因為重新訓練步驟并不簡單。但一種名為Wanda（通過權重和激活進行修剪）的新方法已在LLaMA系列LLM上進行了評估，表明考慮激活路徑可以修剪50%的結構，而不會造成性能的重大損失。而且，重要的是，不需要重新運行訓練來更新權重。
考慮權重的表示方式也很有幫助——例如，將值存儲為8位整數(shù)而不是單精度浮點格式(FP32)可以顯著節(jié)省內存。傳統(tǒng)上，模型權重被縮放到0到1之間，但這些值仍然可以從節(jié)省內存的整數(shù)中恢復以進行處理。
使邊緣人工智能應用程序的算法更加高效的另一種策略是部署所謂的教師和學生模型，學生可以從教師提供的更豐富的信息中學習。具體來說，教師模型可以為學生模型提供最可能結果的概率分布作為訓練輸入。
這種方法已成功用于構建DistilBERT，這是BERT的精煉版本：更小、更快、更便宜、更輕。Hugging Face研究人員使用教師和學生模型（也稱為知識蒸餾）表明，可以將BERT模型的大小減少40%，同時保留97%的語言理解能力，速度提高60%。
要理解為什么這如此重要，值得注意的是BERT是目前最有用的NLP模型之一。BERT可用于文本編碼，以從其他數(shù)據(jù)中檢索相似的段落。它可以總結大量的文本信息并提供問題的答案。
考慮到邊緣人工智能，輕量級NLP模型可以在本地處理數(shù)據(jù)，以保護隱私并保護客戶可能不希望發(fā)送到云端的敏感信息。例如，公司可以使用DistilBERT構建自己專有的語義搜索引擎來導航業(yè)務數(shù)據(jù)，而無需將任何數(shù)據(jù)發(fā)送給Google。
人工智能成功案例
云中人工智能的成功故事啟發(fā)了各種用例。而且，隨著開發(fā)人員在將算法性能壓縮到更小的占用空間方面變得更加熟練，我們預計這些優(yōu)勢也將轉化為邊緣人工智能應用程序。
此外，用戶可以依靠越來越多的工具來優(yōu)化他們的機器學習模型。谷歌的TensorFlow模型優(yōu)化工具包支持將模型部署到對處理、內存、功耗、網(wǎng)絡使用和模型存儲空間有限制的邊緣設備。
還有其他選項，例如可以為嵌入式系統(tǒng)提供高效深度學習的模型優(yōu)化SDK。供應商包括瑞典深度科技公司Embedl，該公司最近籌集了45 MSEK（410萬美元）來擴大其業(yè)務。
“Embedl的解決方案在汽車領域開發(fā)自動駕駛系統(tǒng)(AD)和高級駕駛輔助系統(tǒng)(ADAS)時提供了顯著的性能增強，”該公司在其網(wǎng)站上寫道。“它還將使人工智能能夠融入到硬件功能較弱的消費產品中。”
該公司表示，客戶可以使用該SDK創(chuàng)建可在電池供電設備上運行的深度學習算法，這標志著邊緣人工智能的另一個趨勢。
