本文來自微信公眾號(hào)“電子發(fā)燒友網(wǎng)”，作者/李彎彎。
AI邊緣計(jì)算機(jī)是一種人工智能和邊緣計(jì)算技術(shù)相結(jié)合的計(jì)算機(jī)設(shè)備。它可以在本地設(shè)備上運(yùn)行AI模型，實(shí)現(xiàn)對(duì)設(shè)備數(shù)據(jù)的實(shí)時(shí)分析和響應(yīng)，從而減少數(shù)據(jù)傳輸?shù)皆贫说难舆t和成本。
當(dāng)下，AI在邊緣側(cè)的部署正在成為趨勢(shì)，包括近年來備受矚目的大語言模型，在邊緣側(cè)的應(yīng)用也是業(yè)界探索的焦點(diǎn)，AI邊緣計(jì)算機(jī)在這中間扮演著重要角色。為此，電子發(fā)燒友近日采訪到圖為科技華東區(qū)域經(jīng)理吳朗，探討了AI邊緣計(jì)算機(jī)的應(yīng)用現(xiàn)狀及前景等話題。
AI邊緣計(jì)算機(jī)應(yīng)用場(chǎng)景多樣，前景好
AI邊緣計(jì)算機(jī)由處理器、存儲(chǔ)器、輸入/輸出接口、電源、散熱系統(tǒng)、嵌入式操作系統(tǒng)、AI模型和算法等結(jié)構(gòu)組成。處理器是AI邊緣計(jì)算機(jī)的核心部分，負(fù)責(zé)執(zhí)行指令和處理數(shù)據(jù)。
AI邊緣計(jì)算機(jī)的核心是AI模型和算法，用于實(shí)現(xiàn)各種智能化的應(yīng)用。
圖為科技是一家AI邊緣計(jì)算設(shè)備運(yùn)營服務(wù)商，專注邊緣計(jì)算設(shè)備的研發(fā)、生產(chǎn)、銷售、運(yùn)維等工作。其基于NVIDIA Jetson系列核心模塊所設(shè)計(jì)的AI邊緣計(jì)算盒子，已廣泛應(yīng)用于機(jī)器視覺檢測(cè)、人臉識(shí)別、行為識(shí)別、智能機(jī)器人、智能無人機(jī)、自動(dòng)駕駛、智能安防等領(lǐng)域。
吳朗告訴電子發(fā)燒友：“圖為科技的AI邊緣計(jì)算設(shè)備主要是基于ARM架構(gòu)的方案。其中，大多是基于英偉達(dá)Jetson系列核心模塊設(shè)計(jì)，也有少數(shù)基于華為昇騰和瑞芯微的方案。”圖為科技的邊緣計(jì)算機(jī)涵蓋了從最低0.5TOPS算力到最高275TOPS算力的各種產(chǎn)品，能滿足多場(chǎng)景不同算力的需求，便于客戶拓展AI方案及部署工作。
據(jù)他介紹，AI邊緣計(jì)算機(jī)的應(yīng)用非常廣泛，目前在安防領(lǐng)域應(yīng)用最多，另外，在醫(yī)療、車載、交通等領(lǐng)域也有非常多很好的應(yīng)用場(chǎng)景。比如在醫(yī)療領(lǐng)域的影像分析，他們之前有個(gè)做眼睛診療儀的客戶，就需要用到這種AI邊緣計(jì)算盒子，通過深度學(xué)習(xí)算法，來輔助拍攝一些圖像做實(shí)時(shí)分析。
在車載領(lǐng)域，目前圖為科技的產(chǎn)品可以用于低速無人駕駛，比如，無人清掃車、園區(qū)接駁車、各種巡檢小車等。吳朗介紹說：“這種AI邊緣計(jì)算盒子在車載、交通領(lǐng)域的應(yīng)用場(chǎng)景很多，現(xiàn)在智慧交通是趨勢(shì)，車路協(xié)同、全息路口以及高速上一些車聯(lián)網(wǎng)場(chǎng)景都用得上。”
不過不同場(chǎng)景技術(shù)路線不一樣，對(duì)設(shè)備的要求也有所不同。比如，安防領(lǐng)域主要需要的是視頻分析，基本上是純視覺。而車載領(lǐng)域，有視覺也有雷視融合，包括激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)等。它們需要的算力、資源、軟硬件平臺(tái)等都不一樣。一般而言，安防場(chǎng)景的算力需求很多在20到30TOPS，而車載場(chǎng)景很多時(shí)候需要100TOPS，甚至200TOPS以上。
在車載場(chǎng)景，英偉達(dá)的Jetson系列會(huì)更有優(yōu)勢(shì)，無論是算力還是生態(tài)上。英偉達(dá)的模塊算力會(huì)更高，而且它跟上下游廠商的配套更多，比如跟奧比中光、森云智能等廠商的相機(jī)產(chǎn)品都有適配。因此，圖為科技基于英偉達(dá)Jetson系列的設(shè)備能夠滿足更多場(chǎng)景的不同需求。
在吳朗看來，AI計(jì)算邊緣盒子可以應(yīng)用的行業(yè)和形態(tài)很多，市場(chǎng)整體體量很大。不過相比較而言，目前基于X86架構(gòu)的設(shè)備存在的時(shí)間比較久，應(yīng)用也比較多?；贏rm架構(gòu)這種方式的AI邊緣計(jì)算機(jī)近幾年才開始火起來，目前體量不是很大，不過前景會(huì)非常好。
大模型與數(shù)字人結(jié)合在醫(yī)療領(lǐng)域成功落地
近年來，大模型技術(shù)的研究進(jìn)展備受關(guān)注，同時(shí)，業(yè)界也在積極探索大語言模型在邊緣側(cè)的部署。圖為科技在這方面也有研究，并已經(jīng)有方案成功交付。
據(jù)吳朗介紹，圖為科技有好幾款大模型一體機(jī)，算力包括40TOPS、100TOPS和200TOPS，這些一體機(jī)可以運(yùn)行70億和130億參數(shù)規(guī)模的大模型。圖為科技可以用百川智能、智譜AI、通億千問等的開源大模型，自己進(jìn)行移植適配。
目前圖為科技正在推進(jìn)的大模型一體機(jī)應(yīng)用項(xiàng)目很多，其在某醫(yī)院的應(yīng)用方案已經(jīng)成功交付。這是一個(gè)什么樣的場(chǎng)景呢？吳朗介紹說，因?yàn)榫驮\的人數(shù)比較多，這家醫(yī)院婦產(chǎn)科門診接診壓力比較大，他們希望通過AI做一個(gè)預(yù)診的方案。
圖為科技將大模型一體機(jī)與數(shù)字人技術(shù)結(jié)合，做了一個(gè)交互式對(duì)話方案。這樣，患者到醫(yī)院之后，可以跟顯示屏承載的數(shù)字人交互式對(duì)話，幫助醫(yī)生過濾掉一些問題。
吳朗進(jìn)一步介紹：“患者在婦產(chǎn)科需要詢問的問題，基本上醫(yī)院都有對(duì)應(yīng)的數(shù)據(jù)。公司為其部署上AI大語言模型，基本上之后患者問什么問題，這個(gè)數(shù)字人都可以回答?；卮鹜曛罂梢灾苯由呻娮硬v，提交給醫(yī)生。這樣可以大大提高效率。”
圖為科技這個(gè)方案基于通義千問進(jìn)行訓(xùn)練。去年8月，阿里宣布其自研的大模型通義千問正式開源。只要有數(shù)據(jù)集，企業(yè)基本上可以基于這些開源的大模型訓(xùn)練適合自己場(chǎng)景的大模型。
近幾年，數(shù)字人的概念及應(yīng)用也是異?；馃幔渲性谥辈ヮI(lǐng)域的應(yīng)用最多，另外醫(yī)院、銀行等也使用數(shù)字人來做虛擬客服。不過，雖然入局者眾多、應(yīng)用也不少，然而過往，數(shù)字人仍然存在表情僵硬、語言呆板、交互能力不強(qiáng)等問題。
2023年以來，大語言模型席卷全球，將大模型與數(shù)字人技術(shù)結(jié)合也成為不少企業(yè)爭先探索的方向，接入大模型的數(shù)字人能夠很好的改善之前數(shù)字人存在的問題。從圖為科技這個(gè)案例來看，大模型接入數(shù)字人的應(yīng)用也在逐步落地。
寫在最后
無論是AI還是近年來興起的大語言模型，如果要實(shí)現(xiàn)規(guī)?；逃茫谶吘墏?cè)部署是關(guān)鍵。AI邊緣計(jì)算機(jī)在這其中承載著極其重要的責(zé)任。同時(shí)，相比于傳統(tǒng)X86架構(gòu)，ARM架構(gòu)具有低能耗、低成本、高性能等優(yōu)勢(shì)，如此看來基于ARM架構(gòu)的AI邊緣計(jì)算機(jī)前景可觀。不過當(dāng)前ARM架構(gòu)也還面臨移植適配、軟件生態(tài)不夠好等問題，后續(xù)發(fā)展仍需業(yè)界一起努力。
