隨著人工智能時代的來臨，相應(yīng)的芯片產(chǎn)品和行業(yè)也產(chǎn)生了相應(yīng)的新方向。
在人工智能的各個分支中，機器視覺無疑是應(yīng)用最廣泛的方向，它支撐著諸如人臉檢測、工業(yè)異常檢測、手勢識別等諸多重要的應(yīng)用。顧名思義，機器視覺是使用機器學(xué)習(xí)/人工智能的方法來分析視覺信號，并且通過人工智能直接產(chǎn)生分析結(jié)果。因此，機器視覺天然就需要一個圖像傳感器來作為輸入信號，而隨著機器視覺和人工智能的逐漸發(fā)展，機器視覺與圖像傳感器芯片的結(jié)合成為“智能圖像傳感器”也是順應(yīng)了技術(shù)發(fā)展的脈絡(luò)。
如果我們進(jìn)一步分析智能圖像傳感器，我們認(rèn)為又可以分為兩類。第一類是圖像傳感器與人工智能計算相結(jié)合，即圖像傳感器模組除了可以輸出圖像之外，還可以直接輸出人工智能算法計算的結(jié)果。這樣的智能圖像傳感器我們可以稱之外“人工智能賦能的圖像傳感器”，它們往往能做到非常低功耗的人工智能分析，因此在物聯(lián)網(wǎng)和可穿戴式智能設(shè)備中有重要應(yīng)用。
而另一類智能圖像傳感器則是為人工智能應(yīng)用專門設(shè)計的圖像傳感器，其輸出的內(nèi)容和方式往往與傳統(tǒng)的圖像傳感器有區(qū)別。這類智能圖像傳感器可以稱之為“為人工智能賦能的圖像傳感器”。這類圖像傳感器中的一種重要圖像傳感器是事件驅(qū)動傳感器，它突破了傳統(tǒng)圖像傳感器固定幀率的特性，從而可以為一些重要的工業(yè)和智能車應(yīng)用提供支撐。
當(dāng)然，我們也可以預(yù)期會出現(xiàn)同時結(jié)合上述兩類特性的智能圖像傳感器，為各類人工智能應(yīng)用提供硬件支持。目前，Sony是在智能圖像傳感器領(lǐng)域布局最多的巨頭，同時我們也看到了一些初創(chuàng)公司在這個方向持續(xù)地探索新的技術(shù)和應(yīng)用。
人工智能賦能的圖像傳感器
如前所述，圖像傳感器為機器視覺這一最重要的機器視覺應(yīng)用提供輸入信號。在傳統(tǒng)的機器視覺芯片解決方案中，圖像傳感和人工智能算法的運行在不同的硬件上完成，圖像傳感器提供圖像信號，而處理器或者AI加速芯片執(zhí)行人工智能算法。然而，這樣的做法在強調(diào)低功耗和能效比的移動端或IoT智能設(shè)備中，將會造成能量的浪費，并且難以處理一些需要常開（always-on）的應(yīng)用場景。
舉例來說，如果拿目前流行的手機端機器視覺解決方案來說，通常的做法是，手機SoC中的主處理器AP打開圖像傳感器，圖像傳感器將圖像信號發(fā)送給SoC，并且由SoC中的處理器，或GPU，或AI加速器來跑人工智能算法，并且輸出結(jié)果。在這個過程中，能效比有幾個瓶頸。首先是圖像傳感器必須把圖像傳送給SoC，這期間需要使用MIPI等接口，存在額外功耗開銷。其次，是SoC在整個過程必須處于喚醒狀態(tài)，還通常必須運行整個操作系統(tǒng)，因此即使AI加速器能以很高的能效比運行算法，但是整個過程中能量消耗最大的部分可能并不是人工智能算法，而是SoC處于喚醒狀態(tài)并且運行整個操作系統(tǒng)帶來的額外功耗。
這樣的功耗開銷在手機端只需要偶爾運行機器學(xué)習(xí)的場景或許可行，但是在IoT和可穿戴設(shè)備中，尤其是需要執(zhí)行常開式機器視覺算法的場合，就成為了瓶頸。
人工智能賦能的圖像傳感器就可以解決這個問題。具體來說，這樣的智能圖像傳感器在圖像傳感器模組中集成了人工智能算法的運行模塊，因此可以直接輸出機器視覺算法的結(jié)果，而這樣運行機器視覺的方法也常被稱為“傳感器內(nèi)運算（in-sensor computing）”。通過傳感器內(nèi)計算，機器視覺算法的運行單位從SoC換到了圖像傳感器，因此在運行機器視覺算法時，SoC無需處于喚醒狀態(tài)，也無需運行操作系統(tǒng)，而是可以處于低功耗的待機狀態(tài)。另一方面，傳感器內(nèi)運算由于整個系統(tǒng)比較簡單，并沒有運行操作系統(tǒng)等額外開銷，并且有為機器視覺算法量身定做的加速器芯片模組，因此能效比可以做到很高。最后，在接口方面，通?？梢詫崿F(xiàn)由智能圖像傳感器在檢測到重要輸出時才去以中斷的方式去喚醒SoC，并且只需要傳遞機器視覺算法運行的結(jié)果，因此數(shù)據(jù)傳輸?shù)拈_銷也大大降低了。
在人工智能賦能的圖像傳感器中，Sony已經(jīng)于去年首先發(fā)布了帶有傳感器內(nèi)計算功能的智能圖像傳感器IMX500，可望使用在各類需要低功耗高性能邊緣機器視覺應(yīng)用的領(lǐng)域。除此之外，Sony還發(fā)布了相應(yīng)的開發(fā)平臺Aitrios，能以訂閱服務(wù)的形式為用戶提供用于智能圖像傳感器的模型開發(fā)和部署服務(wù)。
賦能人工智能的圖像傳感器
另一類新的智能圖像傳感器是可以賦能人工智能機器視覺的圖像傳感器。在傳統(tǒng)的圖像傳感器中，幀率是固定的（通常在數(shù)十到上百幀每秒），即無論外部條件如何，圖像傳感器都會以同樣的頻率采集圖像并且傳輸給機器視覺算法。然而，在工業(yè)檢測（如振動監(jiān)測）和智能駕駛等應(yīng)用中，固定幀率得到的圖像并不是最優(yōu)化的圖像采集方式。具體來說，工業(yè)檢測和智能駕駛中，機器視覺最關(guān)注的是事件；當(dāng)沒有發(fā)生任何事件（例如，圖像沒有變化）時，即使以很低的幀率采集圖像甚至不采集圖像都可以。然而，當(dāng)發(fā)生事件時（例如工業(yè)檢測中機器開始振動，智能駕駛中出現(xiàn)來車），使用數(shù)十幀每秒的幀率又顯得不夠，而希望以千幀每秒甚至更高的幀率去采樣。
在這種需求中，事件驅(qū)動視覺傳感器就是一種為機器視覺專門賦能的新智能圖像傳感器。顧名思義，事件驅(qū)動視覺傳感器關(guān)注“事件”，因此在檢測到相關(guān)事件發(fā)生時，可以以非常高的幀率（1000-10000 fps）來采集圖像，而在沒有事件發(fā)生時，則可以以很低的幀率采樣以降低功耗。
在傳感器巨頭領(lǐng)域，Sony在事件驅(qū)動傳感器領(lǐng)域布局最多，在一年多前收購了瑞士的相關(guān)初創(chuàng)公司Insightness，而三星也在積極研發(fā)相關(guān)技術(shù)，并且在ISSCC等頂級芯片會議上發(fā)表了相關(guān)研究論文。初創(chuàng)公司領(lǐng)域，事件驅(qū)動視覺傳感器領(lǐng)域最重要初創(chuàng)公司是法國公司Prophesee，該公司目前已經(jīng)獲得了來自博世、Intel、華為等業(yè)界巨頭總計近七千萬美元的投資，并且與各大公司進(jìn)行合作。在今年九月，Prophesee更是和Sony強強聯(lián)手推出了IMX636和IMX637，預(yù)計在未來我們會看到更多這樣的事件驅(qū)動視覺傳感器出現(xiàn)在市場上，為各類新機器視覺應(yīng)用賦能。
智能視覺傳感器的中國力量
在智能傳感器領(lǐng)域，隨著人工智能的發(fā)展，我們認(rèn)為中國芯片公司也將會在這個領(lǐng)域越來越活躍。
首先，從圖像傳感器總體領(lǐng)域來說，中國擁有圖像傳感器領(lǐng)域在全球市場僅次于Sony和三星的韋爾半導(dǎo)體，因此中國在這個領(lǐng)域的基礎(chǔ)并不落后。
其次，在人工智能芯片領(lǐng)域，中國擁有全球最活躍的初創(chuàng)公司生態(tài)，同時也有來自國家的大力支持，因此我們認(rèn)為將中國半導(dǎo)體行業(yè)在人工智能領(lǐng)域的優(yōu)勢和圖像傳感器領(lǐng)域的積累結(jié)合起來并推出人工智能賦能的圖像傳感器產(chǎn)品只是時間問題。例如，最近中國的初創(chuàng)人工智能芯片公司時識科技（Synsense）和前述的法國公司Prophesee達(dá)成了合作將把時識科技的低功耗人工智能芯片技術(shù)和Prophesee的事件驅(qū)動圖像傳感器技術(shù)集成以完成超低功耗邊緣端機器視覺解決方案，相信未來會有更多的中國公司之間的合作以推出中國自己的智能圖像傳感器。
最后，在事件驅(qū)動傳感器領(lǐng)域，韋爾半導(dǎo)體也收購了中國的相關(guān)初創(chuàng)公司芯侖，我們未來也期待中國公司能在相關(guān)領(lǐng)域推出產(chǎn)品以滿足機器視覺的需求。
