新型單鏡頭深度傳感器出爐!可用于微型機器人、AR/VR

傳感器專家網(wǎng)
在機器視覺中,這種距離計算稱為離焦深度。但是到目前為止,要復制大自然,就需要配備有內(nèi)部動力元件的大型攝像頭,這些攝像頭可以隨時間捕獲不同焦點的圖像。但很明顯,這限制了傳感器的速度和實際應用。

盡管我們的技術不斷進步,但在研發(fā)方面,沒有什么能打敗自然的進化,比如跳蛛。盡管它們的大腦很小,但這種小蛛形綱動物有著令人印象深刻的深度感知能力,這使得它們能夠從幾倍長于身體長度的距離精確地撲向毫無戒心的目標。

于是,受到跳蛛的啟發(fā),哈佛大學約翰·保爾森工程與應用科學學院(SEAS)的研究人員開發(fā)了一種緊湊而高效的深度傳感器。該傳感器將多功能,扁平的金屬元素與超高效算法結(jié)合在一個單鏡頭里來測量深度??捎糜谖⑿蜋C器人、小型可穿戴設備或輕量級的虛擬現(xiàn)實和增強現(xiàn)實頭盔。

下圖顯示了金屬深度傳感器實時捕獲半透明蠟燭火焰的深度的過程。左邊的兩個圖像是相機傳感器捕獲的原始圖像,這兩張圖像由金屬元素形成,并且模糊程度略有不同。通過這兩幅圖像,研究人員實時計算出物體的深度,結(jié)果如下圖右邊所示。

圖片來源:Qi Guo and Zhujun Shi /哈佛大學

“進化產(chǎn)生了各種各樣的光學配置和視覺系統(tǒng),而這些光學配置和視覺系統(tǒng)是為不同目的量身定制的。而光學設計和納米技術最終使我們能夠探索人造深度傳感器和其他視覺系統(tǒng),這些系統(tǒng)同樣具有多樣性和有效性。”論文合著者、物理學博士Zhujun Shi 這樣表示。

當今許多深度傳感器,例如手機、汽車和視頻游戲機中的深度傳感器,都使用集成光源和多個攝像頭來測量距離。例如,智能手機上的人臉識別使用數(shù)千個激光點來映射人臉輪廓,這適用于有足夠空間放置電池和快速電腦的大型設備,但對于像智能手表或微型機器人這樣的功率和計算能力有限的小型設備呢?

明顯是不適用的。而事實證明,進化為我們提供了許多選擇。

我們知道,人類使用立體視覺來測量深度,這意味著當我們看著一個物體時,我們的兩只眼睛中的每只正在收集略有不同的圖像。嘗試以下操作:將手指直接放在您的臉部前面,然后交替睜開和閉合雙眼??纯词种甘侨绾我苿拥??事實上,我們的大腦獲取了這兩個圖像,并逐個像素地對其進行檢查,然后根據(jù)像素的移動方式計算到手指的距離。

但是,這種匹配計算,即你獲取兩幅圖像,然后搜索對應的部分,在計算上是很繁瑣的。人類有一個很好的、很大的大腦來進行這些計算,但是蜘蛛沒有。不過,如今跳蛛已經(jīng)進化出一種更有效的深度測量系統(tǒng):跳蛛的每只主眼都有一些分層排列的半透明視網(wǎng)膜,這些視網(wǎng)膜可測量具有不同模糊量的多個圖像。

例如,如果一只跳躍的蜘蛛用一只主眼注視著一只果蠅,那么該果蠅在一個視網(wǎng)膜的圖像中會顯得更清晰,而在另一幅視網(wǎng)膜的圖像中則更模糊。正是這種模糊變化編碼了果蠅的飛行距離信息。

金屬深度傳感器可以實時捕捉果蠅的深度

圖片來源:Qi Guo and Zhujun Shi /哈佛大學

在機器視覺中,這種距離計算稱為離焦深度。但是到目前為止,要復制大自然,就需要配備有內(nèi)部動力元件的大型攝像頭,這些攝像頭可以隨時間捕獲不同焦點的圖像。但很明顯,這限制了傳感器的速度和實際應用。

而金屬元素可以解決這一問題。

該論文的研究人員通過實驗證明了金屬可以同時產(chǎn)生包含不同信息的多個圖像,且在此基礎上,設計了可以同時產(chǎn)生兩個具有不同模糊度的圖像的金屬材料。該金屬為緊湊的深度傳感而設計,由亞波長間隔的方形納米顆粒組成。如下圖所示,通過交替使用兩種不同的納米圖形(在這里以紅色和藍色顯示),該金屬同時形成兩個圖像。這兩幅圖像模擬了跳蛛眼中分層的視網(wǎng)膜所捕捉到的圖像。

為緊湊的深度傳感設計的金屬

圖片來源:Qi Guo and Zhujun Shi /哈佛大學

但不同于跳蛛的是,跳蛛是通過分層的視網(wǎng)膜來捕獲多個同時圖像的,而金屬則可以將光線分開,并在光敏傳感器上同時形成兩個不同的散焦圖像。

而在獲取分層圖像后,為解決繁瑣計算的問題,該研究團隊還開發(fā)了一種超級高效的算法,來解釋這兩幅圖像,并構建一個深度圖來表示物體距離。

Zickler實驗室研究人員、該論文合著者,博士QiGuo表示:“能夠一起設計超表面和計算算法是非常令人興奮的,這是創(chuàng)建計算傳感器的新方法,它為許多可能性打開了大門。”

金屬透鏡是一項改變游戲規(guī)則的技術,因為他們有能力實現(xiàn)現(xiàn)有的和新的光學功能,比現(xiàn)有的鏡片更有效、更快、更少體積和復雜性。光學設計和計算成像技術的突破使我們研制出了這種新型深度相機,它將為科學和技術帶來廣泛的機遇。

本文由傳感器專家網(wǎng)翻譯自《Compact depth sensor inspired by eyes of jumping spiders》

作者:Harvard John A. Paulson School of Engineering and Applied Sciences

來源:https://phys.org/news/2019-10-compact-depth-sensor-eyes-spiders.html

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論