攻入機(jī)器人視覺核心賽道的國(guó)產(chǎn)芯片

機(jī)器視覺作為機(jī)器人賽道的核心應(yīng)用之一,成長(zhǎng)潛力持續(xù)發(fā)酵。結(jié)合光學(xué)裝置和傳感器的機(jī)器視覺系統(tǒng),能夠自動(dòng)接收和處理真實(shí)物體圖像,獲得所需信息或控制機(jī)器人運(yùn)動(dòng)。其核心芯片包括AI芯片、圖像傳感器、存儲(chǔ)器、處理器和通信芯片等,這些芯片協(xié)同實(shí)現(xiàn)了機(jī)器人視覺的功能和應(yīng)用。

本文來自微信公眾號(hào)“與非網(wǎng)eefocus”,作者/張慧娟。

機(jī)器視覺作為機(jī)器人賽道的核心應(yīng)用之一,成長(zhǎng)潛力持續(xù)發(fā)酵。結(jié)合光學(xué)裝置和傳感器的機(jī)器視覺系統(tǒng),能夠自動(dòng)接收和處理真實(shí)物體圖像,獲得所需信息或控制機(jī)器人運(yùn)動(dòng)。其核心芯片包括AI芯片、圖像傳感器、存儲(chǔ)器、處理器和通信芯片等,這些芯片協(xié)同實(shí)現(xiàn)了機(jī)器人視覺的功能和應(yīng)用。

機(jī)器視覺涵蓋AI、計(jì)算機(jī)科學(xué)、圖像處理、模式識(shí)別等諸多領(lǐng)域技術(shù),擁有精度高、速度快、可靠性高等優(yōu)勢(shì)。在機(jī)器視覺應(yīng)用領(lǐng)域,核心芯片以國(guó)外品牌為主,國(guó)內(nèi)芯片仍處于發(fā)展初期階段,不過據(jù)<與非網(wǎng)>調(diào)研,隨著機(jī)器人市場(chǎng)的不斷發(fā)展,視覺和計(jì)算技術(shù)的不斷成長(zhǎng),國(guó)產(chǎn)芯片在逐步進(jìn)入應(yīng)用階段。

3D視覺是突出趨勢(shì)

近年,機(jī)器視覺最大的趨勢(shì)來自3D視覺技術(shù)的突破,進(jìn)一步推動(dòng)視覺技術(shù)在高端機(jī)器人場(chǎng)景的應(yīng)用。不過,工業(yè)應(yīng)用中常見的拆碼垛、定位、分揀等場(chǎng)景下同質(zhì)化競(jìng)爭(zhēng)較多,3D視覺將逐步向更高階的場(chǎng)景延伸,比如焊接、檢測(cè)、裝配等場(chǎng)景,并且在機(jī)器人引導(dǎo)(例如移動(dòng)機(jī)器人+3D視覺、機(jī)械臂+3D視覺)場(chǎng)景應(yīng)用前景廣闊。

相比2D機(jī)器視覺,3D機(jī)器視覺具有顯著優(yōu)勢(shì),例如測(cè)量速度快、精度高、抗干擾能力強(qiáng)、操作簡(jiǎn)便等,能有效解決2D機(jī)器視覺對(duì)于高度、厚度、體積、平面度等測(cè)量因素缺失的問題。不過,也正是由于比2D視覺應(yīng)用多了數(shù)據(jù)維度,3D視覺計(jì)算芯片整體數(shù)據(jù)的存儲(chǔ)、計(jì)算以及相關(guān)算法都變得更加復(fù)雜,需要具備較強(qiáng)的計(jì)算能力。

目前,國(guó)內(nèi)具有相關(guān)芯片研發(fā)能力的公司包括肇觀電子、銀牛微電子、中科融合、靈明光子、炬佑智能、元橡科技、埃瓦科技、視海芯圖等。

肇觀電子的SoC芯片NE-D163A能夠?qū)崟r(shí)輸出深度圖像,以及進(jìn)行實(shí)時(shí)計(jì)算機(jī)視覺特征處理。同時(shí),還具備AI計(jì)算能力,在INT8和FP16精度下,D163A運(yùn)行各項(xiàng)網(wǎng)絡(luò)均可達(dá)到較高的每TOPs每秒處理幀數(shù)。

銀牛微電子的NU4100視覺AI處理器中采用了芯原的雙通道ISP IP,具備3D深度感知、AI處理和片上基于視覺的實(shí)時(shí)定位與建圖(VSLAM),可以低功耗、低延遲地處理來自多個(gè)4K攝像頭的數(shù)據(jù)。NU4100采用了優(yōu)化的嵌入式視覺架構(gòu),可高效整合計(jì)算機(jī)視覺引擎和深度學(xué)習(xí)(CNN)處理等一系列計(jì)算模塊。

中科融合的3D視覺解決方案主要基于兩顆自研的核心芯片:一是MEMS微振鏡芯片,據(jù)稱主要替代TI DLP芯片,成本可以降低4倍、功耗降低10倍、體積降低20倍。二是3D AI VDPU SoC芯片,主要是進(jìn)行光學(xué)數(shù)據(jù)處理和系統(tǒng)控制。通過這兩個(gè)芯片形成模組,可以在達(dá)到同類競(jìng)品相同成像效果和體驗(yàn)的情況下,實(shí)現(xiàn)功耗、成本、體積大幅度降低。

此外,3D視覺整體方案提供商奧比中光也在自研芯片,一類是深度引擎芯片,貼片在3D視覺傳感器PCB板上,實(shí)現(xiàn)3D視覺感知中最核心的深度信息的計(jì)算功能;另一類是專用感光芯片,根據(jù)3D感知成像的特殊要求,自主定義及設(shè)計(jì)芯片內(nèi)用于感光的像素微結(jié)構(gòu)、用于計(jì)算的讀出電路部分、去噪模塊,與深度引擎芯片配合,將較目前通用感光芯片大幅提升產(chǎn)品系統(tǒng)性能。

機(jī)器視覺主芯片路線豐富

機(jī)器人視覺系統(tǒng)通常需要一個(gè)強(qiáng)大的處理器來處理和執(zhí)行各種任務(wù),如圖像處理、計(jì)算機(jī)視覺、物體識(shí)別等,其處理器可以是CPU、GPU、FPGA或其他類型的處理器。當(dāng)前。融合了AI特性和處理器功能的AI視覺芯片正在成為一大趨勢(shì),負(fù)責(zé)處理和執(zhí)行各種機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法。

AI視覺主芯片可以簡(jiǎn)單區(qū)分為GPU、CPU/集成GPU、帶NPU的SoC、FPGA、以及RISC-V架構(gòu)芯片等。這些芯片分別面向不同的應(yīng)用和用戶類型,也各自呈現(xiàn)出不同的發(fā)展趨勢(shì)。

其中,基于GPU的開發(fā)板可能是許多用戶剛開始AI開發(fā)時(shí)就接觸到的,比如NVIDIA TX2或Nano,AMD的APU SoC等。這類產(chǎn)品最大的優(yōu)勢(shì)是生態(tài)完善,不論是Tensor Flow、Caffe、PyTorch或是AI庫(kù)等,運(yùn)行起來都很流暢,開發(fā)體驗(yàn)也比較好。

第二類CPU/集成GPU,主要針對(duì)中低算力需求的應(yīng)用,只需已有的CPU或是集成GPU就可以滿足。優(yōu)勢(shì)在于整體硬件成本更低,且方案成熟;缺點(diǎn)就是算力不夠大,不能支持太大的AI模型。

第三類是帶NPU的SoC,已經(jīng)越來越成為AI視覺主芯片的一大趨勢(shì),它們將NPU與主處理器集成在一起,可滿足中高算力需求。由于是單芯片,硬件成本也適中,挑戰(zhàn)主要在于模型的量化部署方面,以及模型部署工具的成熟度,主要依賴于芯片廠商成熟的工具鏈支持。

除了這類單芯片設(shè)計(jì),市面上還有一類神經(jīng)計(jì)算加速棒產(chǎn)品,可以通過USB插到板卡上提供運(yùn)算能力。但是這類方案需要進(jìn)行相互之間的數(shù)據(jù)傳輸,對(duì)于整體的方案設(shè)計(jì)、硬件的穩(wěn)定性等都有一定挑戰(zhàn)。

第四類基于FPGA的主控芯片,主要滿足對(duì)實(shí)時(shí)性要求較高的工業(yè)級(jí)應(yīng)用。挑戰(zhàn)在于開發(fā)難度,涉及一些自研AI加速FPGA邏輯,需要底層的加速設(shè)計(jì)和量化方案設(shè)計(jì),以及相應(yīng)的轉(zhuǎn)換、編譯。

第五類是RISC-V架構(gòu)的芯片,近兩年得到了較大的發(fā)展。由于需要進(jìn)行圖像處理,這類芯片往往需要采用RISC-V主處理器+ISP或Arm CPU+RISC-V協(xié)處理器的異構(gòu)形式,以應(yīng)對(duì)更大的算力需求和更高的圖像處理性能。

以下是部分具有代表性的國(guó)產(chǎn)視覺處理芯片:

瑞芯微RV1109是一款高性能機(jī)器視覺處理器的SoC,基于雙核ARM Cortex-A7,集成了NEON和FPU。內(nèi)置的NPU支持INT8/INT16混合操作,計(jì)算能力可達(dá)1.2TOPs。RV1109還引入了基于硬件的5000萬(wàn)像素ISP和后處理器。實(shí)現(xiàn)了IPC和CVR中常用的加速算法。瑞芯微在投資者互動(dòng)平臺(tái)上表示,公司的芯片產(chǎn)品應(yīng)用領(lǐng)域廣泛,已應(yīng)用于多種形態(tài)的機(jī)器人產(chǎn)品,比如掃地機(jī)器人、教育機(jī)器人、服務(wù)機(jī)器人、工業(yè)/農(nóng)業(yè)機(jī)器人等。

全志科技的V853集成了新一代星光級(jí)畫質(zhì)引擎,內(nèi)置的最新一代Smart視頻編碼引擎,集成單核Cortex-A7 lGHz、RSIC-V 600MHz及最大IT算力NPU,支持16-bit DDR3/DDR3L最高速率933MHz,能夠滿足多種應(yīng)用算力及帶寬需求。

清微智能TX510是一款面向IoT設(shè)備的超低功耗視覺處理芯片,基于可重構(gòu)計(jì)算架構(gòu),內(nèi)置3D引擎支持AlexNet、GoogleNet、ResNet、VGG等主流神經(jīng)網(wǎng)絡(luò),可實(shí)現(xiàn)人臉識(shí)別、物體識(shí)別、手勢(shì)識(shí)別、目標(biāo)跟蹤等功能。支持3D結(jié)構(gòu)光,支持3D活體檢測(cè)、紅外活體檢測(cè)、可見光活體檢測(cè)等。

勘智K510是嘉楠公司推出的第二代AI邊緣側(cè)推理芯片,提供高性能的圖像及語(yǔ)音處理能力。K510-CORE是核心模組,板載一顆K510芯片,CPU采用雙核64bit RISC-V架構(gòu),K510搭載自主研發(fā)的第二代神經(jīng)網(wǎng)絡(luò)處理器KPU2.0,采用計(jì)算數(shù)據(jù)流技術(shù),算力較上一代提升3倍同時(shí)降低功耗。

AR9341集成了酷芯微電子自研的第二代HiFi-ISP技術(shù),在2D降噪、3D降噪、HDR、去霧、邊緣增強(qiáng)等各方面水平較高,同時(shí)內(nèi)部集成紅外熱成像圖像增強(qiáng)的技術(shù),具有更加廣泛的適應(yīng)性。集成的4K級(jí)ISP、H264/265視頻編、解碼器(9M 60fps)可保證其輸出高質(zhì)量的視頻,相比酷芯上一代的產(chǎn)品性能提升了100%。

富瀚微FH8898是全高清實(shí)時(shí)高性能智能網(wǎng)絡(luò)處理器SoC芯片,最高幅面支持4K。集成了2.0TOPS算力的高性能神經(jīng)網(wǎng)絡(luò)處理引擎,4核RISC處理器,同時(shí)集成了高性能的ISP圖像處理模塊和視頻編解碼器。芯片可外接32位寬高速DDR3和DDR4存儲(chǔ)芯片,支持USB3.0接口和其他豐富的應(yīng)用外設(shè)接口。富瀚微在投資者互動(dòng)平臺(tái)表示,公司芯片除了可應(yīng)用于高要求專業(yè)場(chǎng)景的工業(yè)機(jī)器人,更廣泛出現(xiàn)在生活場(chǎng)景:超市貨架機(jī)器人、酒店送餐機(jī)器人、家庭下棋機(jī)器人等多元化的場(chǎng)景。

國(guó)產(chǎn)芯片沖刺高端CIS

機(jī)器人視覺系統(tǒng)也對(duì)CIS提出更高要求。采用全局快門模式的CIS中,每個(gè)像素處都增加了采樣保持單元,使得所有的像素可以同時(shí)用于捕獲圖像,從而避免了在高速拍攝場(chǎng)景下因每行像素曝光時(shí)間差異而形成的“果凍效應(yīng)”。

CIS是CMOS攝像模組實(shí)現(xiàn)成像的核心元件,約占據(jù)CMOS攝像模組價(jià)值的52%。CIS的技術(shù)突破主要集中在對(duì)一定價(jià)格區(qū)間內(nèi)極致性能的追求上,如何在有限的空間和預(yù)算內(nèi),實(shí)現(xiàn)較大的光學(xué)尺寸(由像素顆粒大小與像素?cái)?shù)目共同決定),從而實(shí)現(xiàn)優(yōu)質(zhì)的感光性能,成為了技術(shù)突破的焦點(diǎn)。由此,衍生出了Stack(堆棧)等結(jié)構(gòu)更復(fù)雜的CIS產(chǎn)品。

Gartner曾預(yù)測(cè),CIS預(yù)計(jì)將成為第一批中國(guó)占據(jù)全球份額10%以上的半導(dǎo)體品類之一。根據(jù)Yole Intelligence發(fā)布的2022年全球CIS(CMOS圖像傳感器)行業(yè)現(xiàn)狀報(bào)告,2022年全球CIS行業(yè)收入為212.9億美元。索尼以42%市場(chǎng)份額排名第一,三星以19%份額排名第二,豪威科技(Omnivision)以11%份額排名第三,此外,國(guó)內(nèi)廠商還有格科微(Galaxycore,4%份額)、思特威(Smartsens,2%)位列前十。這些國(guó)產(chǎn)芯片廠商在中低端領(lǐng)域形成一定市場(chǎng)基礎(chǔ)后,也有望向高端應(yīng)用進(jìn)擊。

寫在最后

機(jī)器視覺被認(rèn)為是新藍(lán)海,特別是在機(jī)器人領(lǐng)域,隨著各類智能技術(shù)與機(jī)器人終端結(jié)合,將對(duì)視覺系統(tǒng)提出更多應(yīng)用需求。

3D視覺市場(chǎng)就在飛速發(fā)展,國(guó)產(chǎn)3D視覺芯片玩家的成長(zhǎng)和入局,就印證了這一趨勢(shì)。未來,3D視覺應(yīng)用或?qū)B透更多場(chǎng)景。此外,在視覺計(jì)算芯片方面,市場(chǎng)競(jìng)爭(zhēng)也將更加激烈。

未來,機(jī)器人視覺系統(tǒng)的增量主要在于機(jī)器人的落地和應(yīng)用領(lǐng)域的拓寬,不過,下游細(xì)分場(chǎng)景需求較為碎片化,需要積累、以及相應(yīng)解決方案的定制開發(fā),導(dǎo)致新場(chǎng)景的落地速度可能慢于預(yù)期,芯片國(guó)產(chǎn)化率的提升也需要恒久發(fā)力。

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無評(píng)論