VR硬件原本需要通過數(shù)據(jù)線接入PC,直到Facebook工程團隊發(fā)現(xiàn)了一種剪掉線纜的方法。
當安娜·科茲明斯基(Anna Kozminski)于2018年作為軟件程序工程師加入Facebook的時候,她的任務(wù)十分簡單:剪掉VR設(shè)備的線纜,這樣無論何時何地,任何人都能夠戴上頭顯并馬上沉浸在的虛擬現(xiàn)實世界中,無需外部追攝像頭來捕獲環(huán)境。
安娜指出:“我們希望構(gòu)建一個允許你像真實世界那樣自然輕松地在VR世界中移動,并且能夠在里面進行自由探索的系統(tǒng)。”
對于安娜加入的團隊,其使命是為消費者VR設(shè)備開發(fā)首款功能完備的“內(nèi)向外”追蹤系統(tǒng)。這項技術(shù)將能夠追蹤用戶的完整運動范圍(亦即六自由度),同時可以精確地定位頭顯和兩個運動控制器的位置。
VR設(shè)備原本需要利用外部傳感器來追蹤所述的運動。用于實現(xiàn)追蹤的攝像頭接入PC,而盡管這是可行的方案,但降低了VR的便攜性和增加了設(shè)置復雜度。
安娜表示:“借助頭顯的內(nèi)向外追蹤,步入VR就像戴上耳機聽音樂一樣簡單。”
但團隊的使命遠非易事。他們必須將研究實驗室中最先進的計算機視覺技術(shù)帶到任何人都可以使用的消費設(shè)備。追蹤需要精確到低于1毫米,需要足以捕獲頭部的微妙傾斜或手部的短暫快速閃動。它必須足夠強大,可以滿足現(xiàn)實世界家庭中的幾乎所有條件。它同時必須足夠高效,而且可以依賴于電池來實現(xiàn)功能。
Oculus Quest是第一款內(nèi)嵌全六自由度追蹤和雙控制器追蹤的頭顯設(shè)備。
為了實現(xiàn)這一點,安娜及其團隊利用計算機視覺和自研算法來生成用戶周遭環(huán)境的實時3D映射,這樣頭顯就能夠計算你所在的位置并將其傳至虛擬現(xiàn)實世界。
Facebook將這個系統(tǒng)稱為Oculus Insight。它使得全新的Oculus Quest和Rift S頭顯成為可能。日前,這家公司撰文介紹了蘇黎世、門洛帕克和西雅圖工程師團隊是如何將這項技術(shù)變?yōu)楝F(xiàn)實的過程,下面是映維網(wǎng)的具體整理:
Oculus Quest頭顯中的攝像頭和追蹤傳感器
1. SLAM
Oculus Insight內(nèi)向外追蹤的基礎(chǔ)是SLAM(即時定位與地圖構(gòu)建),它主要通過計算機視覺CV算法來融合來自多個傳感器的輸入數(shù)據(jù),從而在不斷更新的數(shù)字映射中確定對象的位置。SLAM早已用于機器人技術(shù)和智能手機中的AR相機效果,而Facebook也在2016年通過Santa Cruz VR頭顯原型進行了演示。但Oculus Insight需要前所未有的精度和效率,這意味著它需要適配最新的追蹤技術(shù)和計算機視覺。
“大多數(shù)技術(shù)都是從學術(shù)開始,源于實驗室。”安娜如是說道。她加入Facebook蘇黎士的工程團隊不是偶然。實際上,這里的大多數(shù)成員都是來自于研發(fā)自動導航系統(tǒng)的Zurich Eye項目(由著名學院蘇黎世聯(lián)邦理工學院和蘇黎世大學組織組織)。
為了構(gòu)建更先進的SLAM,工程團隊借鑒了Facebook多年來在人工智能方面的研究工程工作,構(gòu)建用于理解視頻中出現(xiàn)的對象和行為的系統(tǒng),并且開發(fā)了能夠支持移動設(shè)備的高效計算機視覺算法。
2. 應(yīng)用于前沿VR設(shè)備
奧斯卡·林德(Oskar Linde)是Facebook團隊中負責Oculus Insight的首席機器感知架構(gòu)師,他在構(gòu)建超高效SLAM系統(tǒng)方面有著豐富的經(jīng)驗。林德是13th Lab的聯(lián)合創(chuàng)始人,后者曾于2011年首次展示了用于消費者應(yīng)用的視覺SLAM技術(shù)(用于AR手游)。Facebook于2014年收購了13th Lab及其SLAM技術(shù),而林德順勢加入公司并負責開發(fā)VR頭顯的內(nèi)向外追蹤功能,同時組建了開始專研Oculus Insight的團隊。
2017年的Oculus Insight團隊正在全心全意地投入到工作之中,但他們面臨著一個核心挑戰(zhàn):創(chuàng)建基于SLAM的精確和高效算法,并且足以支持Oculus Quest等移動設(shè)備。林德的搭檔是工程經(jīng)理喬爾·赫胥(Joel Hesch),后者主要是研究將基于視覺、激光和慣性傳感器的SLAM技術(shù)用以以輔助機器人導航,并致力于移動AR和VR應(yīng)用。來到Facebook的赫胥負責把Oculus Insight整合至Quest和Rift S的團隊。
林德、赫胥、安娜,以及他們的團隊鑒了Facebook之前用于移動AR的SLAM工作,以及初代Oculus Rift系統(tǒng)中的追蹤技術(shù),但他們需要尋找新的方法來調(diào)整設(shè)計它們,從而能夠支持VR頭顯實現(xiàn)內(nèi)向外追蹤。
在智能手機端,SLAM利用手機攝像頭創(chuàng)建“世界鎖定”的照片和視頻效果。但對于VR,這涉及多個攝像頭,額外的傳感器,以及需要在三維空間中追蹤的三個不同對象。
安娜解釋說:“我們一次性需要解決三個移動組件:頭顯,以及兩個額外的控制器。我們每一次都需要獲取正確的姿態(tài)。”
團隊同時遇到了其他挑戰(zhàn)。當你揮舞虛擬光劍或操縱虛擬飛船時,如果運動控制器過于過近或遠離頭顯,頭顯攝像頭將難以清楚地感知控制器的紅外LED。Oculus Insight同時采用了其他傳感器,包括頭顯和控制器內(nèi)嵌的慣性測量單元所提供的加速度和速率數(shù)據(jù)。系統(tǒng)必須實時地處理所有數(shù)據(jù),而對于Quest而言,這一切都需要由移動芯片集執(zhí)行。
3. 毫米級追蹤精度
為了解決所述挑戰(zhàn),Oculus Insight團隊有條不紊地改進系統(tǒng)。為了提高系統(tǒng)的追蹤精度和速度,他們構(gòu)建了全新的計算機視覺算法。他們同時在各種樣本環(huán)境中錄制了數(shù)千小時的視頻,然后用來訓練系統(tǒng)識別其環(huán)境中的特征。例如,通過定位和追蹤沙發(fā)的角落或桌子的邊緣,Oculus Insight可以實時地對一個人在房間內(nèi)的確切位置進行三角測量(類似于人眼檢測對象的方式)。
團隊同時利用了非常精確的OptiTrack動捕陣列,一種用于好萊塢視覺特效制作的相同類型設(shè)備。通過對比OptiTrack和Oculus Insight的測量數(shù)據(jù),工程人員能夠微調(diào)系統(tǒng)的計算機視覺算法,從而實現(xiàn)毫米以內(nèi)的追蹤精度。
4. 大量測試
盡管研究實驗室的重點是實現(xiàn)準確、可測量、可重復的結(jié)果,但對于構(gòu)建能夠支持消費者日常用例的技術(shù)而言,團隊需要將重點轉(zhuǎn)移到感知指標。換句話說:VR用戶對給定體驗的實際感受是如何?
為了解決所謂的“Swimminess”(物理位置與運動和虛擬位置與運動不匹配時出現(xiàn)的失向感)和抖動(視覺頻閃和畫面拖尾)等感知偽影,工程團隊充分發(fā)揮了自己的想象力。
為了記錄運動并提升Oculus Insight的追蹤性能,蘇黎世團隊的工程師大衛(wèi)·沃格特(David Vogt)正在設(shè)置OptiTrack動捕系統(tǒng)
蘇黎世團隊在多種環(huán)境和條件下利用OptiTrack動捕系統(tǒng)對Oculus Insight進行了測試,而他們是將自己作為測試對象。
為了測試Oculus Insight在現(xiàn)實世界中的性能,蘇黎世團隊的工程師利用了數(shù)以百計的真實世界房間。上圖是其中一個用于測試的房間。
5. 超越VR,成為AR眼鏡的基礎(chǔ)
如今,Oculus Insight將步入VR體驗變得前所未有的輕松。對于Rift S,你只需將頭顯接入PC,無需額外的傳感器。Quest則完全不需要計算機,可以開箱即用并支持房間規(guī)模體驗。但是,Facebook對未來的暢想遠遠超越了今天的可能。
目前支持Oculus Insight(以及Facebook,Instagram,Messenger的AR體驗)的相同體驗最終將轉(zhuǎn)化為未來設(shè)備的新體驗。最終,它將成為輕巧,時尚型AR眼鏡的基礎(chǔ)。
Facebook最后寫道:“我們尚有一段很長的路要走,但Oculus Insight讓我們更近了一步。”
