新基建風口,邊緣AI是概念還是未來

漢智興科技
AI推理是基于大量推理訓(xùn)練之后實現(xiàn)的,計算強度相對較低,對算力需求不大。過去,與訓(xùn)練一樣,推理計算也主要在云中心進行。然而,AI應(yīng)用的多樣化,基于云的集中式訓(xùn)練和推理機制受到質(zhì)疑。

2020年開始,國家提出加快新基建進度,作為其中重要的一環(huán):人工智能的體量將會進一步增長。當前技術(shù)結(jié)構(gòu)下,人工智能(AI)的處理大多通過云中心完成。

2345截圖20211028093243.png

AI處理以深度學(xué)習(xí)模型訓(xùn)練為主,這需要大量的計算能力。而在過去幾年里,計算的需求量增加了數(shù)十萬倍,其中圖形處理單元(GPU)分散了大部分計算壓力。

AI推理是基于大量推理訓(xùn)練之后實現(xiàn)的,計算強度相對較低,對算力需求不大。過去,與訓(xùn)練一樣,推理計算也主要在云中心進行。然而,AI應(yīng)用的多樣化,基于云的集中式訓(xùn)練和推理機制受到質(zhì)疑。

什么是邊緣AI?

邊緣AI已將AI轉(zhuǎn)移到真正需要的地方:設(shè)備中,而不是云中的服務(wù)器。

2345截圖20211028093243.png

任何基于機器學(xué)習(xí)的解決方案,兩個主要階段是訓(xùn)練和推理,這是機器學(xué)習(xí)的基本原則。

第一階段是訓(xùn)練,在這個階段中,向機器提供大量的已知數(shù)據(jù),讓機器“明白”它應(yīng)該做什么。利用這些數(shù)據(jù),算法可以輸出一個包含其學(xué)習(xí)結(jié)果的"模型"。這個階段需要很高的算力,通常由云計算完成。

訓(xùn)練階段的"已知數(shù)據(jù)"被稱為標記數(shù)據(jù)。這意味著每一個數(shù)據(jù)(聲音、圖像等)都有一個標簽,描述它的含義。推理時將新數(shù)據(jù)中符合的內(nèi)容挑出來,分門別類即可。

第二個階段是推理,推理是將學(xué)到的模型與新數(shù)據(jù)結(jié)合起來,推斷它應(yīng)該識別什么。一旦訓(xùn)練完成,模型只需要小部分算力來執(zhí)行推理階段。因為推理只涉及少量新數(shù)據(jù)的計算,用于推理的模型也是"固定"的(不需要再持續(xù)訓(xùn)練),并針對目標環(huán)境進行了仔細的優(yōu)化。

最終的結(jié)果是,它可以直接在嵌入式設(shè)備上運行:也就是邊緣設(shè)備。這樣可以為設(shè)備提供決策權(quán),從而使其自主運作,這就是邊緣AI。

2345截圖20211028093243.png

為什么我們需要邊緣AI?

今天的邊緣AI側(cè)重于將AI推理轉(zhuǎn)移到邊緣設(shè)備上,從而減少數(shù)據(jù)的上傳與擴散。當然,將AI應(yīng)用遷移到邊緣設(shè)備的原因有很多,這取決于應(yīng)用。在評估云計算和邊緣計算時,必須考慮隱私、安全、成本、延時和帶寬。隨著越來越多的邊緣計算芯片廠家提供了高算力的產(chǎn)品,也促進了邊緣AI計算的發(fā)展。

聯(lián)合學(xué)習(xí)和基于區(qū)塊鏈的分散架構(gòu)也是AI計算向邊緣化過渡的一部分,有些訓(xùn)練也可能向邊緣化發(fā)展。根據(jù)AI應(yīng)用和設(shè)備類別,有幾種硬件選擇來執(zhí)行邊緣AI計算。這些選擇包括CPU、GPU、ASIC、FPGA和SoC加速器。

邊緣AI的硬件挑戰(zhàn):芯片

像許多新概念一樣,邊緣AI技術(shù)其實已經(jīng)存在了一段時間:機器學(xué)習(xí)算法在計算機和智能手機中很常見,它們在這些設(shè)備中運行良好。

2345截圖20211028093243.png

如今,人們將嵌入式設(shè)備與算法結(jié)合起來,形成一個很有意義的解決方案,這要歸功于:為AI提供硬件加速的高算力模塊(GPU和ASIC)。

通過算力模塊,配合不斷改進的AI模型,我們不僅可以在超級計算機中整合AI解決方案,還可以在汽車、智能手機、網(wǎng)頁、Wi-Fi路由器,甚至家庭安全系統(tǒng)中整合AI。

如何將推理功能嵌入設(shè)備?

首先我們要選對適合的硬件,目前有三種硬件類型可以實現(xiàn)邊緣AI的運行:

CPU:在智能手機和嵌入式設(shè)備上,任何最新的CPU都有能力處理。它可能不是邊緣AI推理最快或最專業(yè)的解決方案,但它是最好實現(xiàn)的。

GPU:它們通常確實能提供高吞吐量,從而提供出色的推理頻率和較低的延時。它還可以減少CPU的工作負荷,是目前比較主流的選擇。

2345截圖20211028093243.png

利用GPU的處理能力和并行化能力,AI就像一個由數(shù)百個神經(jīng)元的虛擬大腦,它看起來非常復(fù)雜,但實際上是由大量的簡單元素組成的。這正好與GPU的特性不謀而合,簡單的獨立操作被應(yīng)用于屏幕上的每一個點。

大多數(shù)機器學(xué)習(xí)框架(TensorFlow、Caffe、AML等)都是為了適用現(xiàn)有的硬件,比如NVIDIA Jetson系列。

AI定制硬件:這是一個快速增長的類型,如谷歌之前發(fā)布的Edge TPU,英特爾、微軟和亞馬遜也在開發(fā)自己的解決方案。通過定制硬件為AI推理匹配最有效的解決方案,但昂貴的成本和設(shè)計壓力則是當前的弊端。

選擇邊緣AI進行創(chuàng)新的5個理由

1)離線可用性:這可能是最明顯的理由。如果需要程序在任何條件的連接狀態(tài)下都可用,那么AI推理必須放在本地設(shè)備上。

由于不穩(wěn)定的遠程數(shù)據(jù)連接,DDoS攻擊,或者設(shè)備在地下室使用,連接就會中斷!網(wǎng)絡(luò)不穩(wěn)定對于云方案是一個巨大的挑戰(zhàn)。然而,如果本地設(shè)備可以自己處理數(shù)據(jù),就不需要擔心這些問題。

2)降低云服務(wù)成本:云服務(wù)非常方便,具有高擴展性和可用性,但它也有比較顯著和持續(xù)的成本。隨著越來越多的人使用云計算,這種成本會增加。這些成本將持續(xù)到產(chǎn)品的整個生命周期。然而,如果可以采用本地設(shè)備進行AI推理,那么你就可以節(jié)約這部分成本。

3)降低流量成本:帶寬和移動流量的成本也很昂貴。對于視頻監(jiān)控推理而言,一個高清攝像頭每天就能產(chǎn)生50G甚至更多的視頻數(shù)據(jù),一個項目可能有成百上千個攝像頭,每天按T計算的云服務(wù)流量成本是筆不小的費用。

而使用邊緣AI推理,在本地設(shè)備上可以將體積龐大的視頻文件轉(zhuǎn)換為幾kB的數(shù)據(jù)。比如道路監(jiān)控,云計算需要將現(xiàn)場視頻持續(xù)上傳分析,而邊緣設(shè)備只需要回傳一句話:“這條路上現(xiàn)在沒有人”。

2345截圖20211028093243.png

4)處理敏感信息:如果敏感信息可以在本地被收集和處理,我們還需要把信息發(fā)到幾百公里外的云中心去么?雖然我們不應(yīng)該擔心云中心的數(shù)據(jù)安全問題,但本地處理確實能讓人更放心。

5)響應(yīng)時間短:在本地收集和處理數(shù)據(jù)可以縮短響應(yīng)時間,規(guī)避網(wǎng)絡(luò)延遲的風險,從而改善用戶體驗,只要設(shè)備能足夠快地處理數(shù)據(jù)。比如工業(yè)制造時,需要毫秒級的推理判斷,來決定是否緊急停止生產(chǎn)線來避免事故的發(fā)生。

邊緣AI帶來新的機會

邊緣AI的高可用性、數(shù)據(jù)安全性、降低延遲和成本,都是未來AI系統(tǒng)的關(guān)鍵優(yōu)勢。無論是公司還是個人,現(xiàn)在都是采取行動的好時機,越來越多的科技公司開始布局邊緣計算。

雖然有些人認為它還不成熟,但該技術(shù)正在融合發(fā)展,不斷進行實驗和概念驗證,在全球范圍內(nèi)提高競爭優(yōu)勢。

隨著國家對新基建的推動,AI和IoT(物聯(lián)網(wǎng))的指數(shù)級增長,邊緣AI的時代即將到來。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論