凹入式渲染解決了VR頭顯日益增長(zhǎng)的挑戰(zhàn)，提供了清晰的細(xì)節(jié)。現(xiàn)在，F(xiàn)acebook Reality Labs的工程師提出了DeepFovea，這是AI輔助的替代方法，它可以創(chuàng)建“合理的外圍視頻”，而不是實(shí)際渲染準(zhǔn)確的外圍圖像。這一新過(guò)程被稱(chēng)為“凹入式重構(gòu)”，F(xiàn)acebook表示，它對(duì)RGB視頻實(shí)現(xiàn)了14倍以上的壓縮，而質(zhì)量沒(méi)有下降。
捕獲視頻流時(shí)，DeepFovea僅在每個(gè)視頻幀中采樣10％的像素，主要但不僅僅集中在用戶(hù)眼睛聚焦的區(qū)域。相比之下，僅通過(guò)散點(diǎn)采樣外圍區(qū)域，這些散點(diǎn)距眼睛的焦點(diǎn)區(qū)域越來(lái)越遠(yuǎn)。該系統(tǒng)使用經(jīng)過(guò)訓(xùn)練的生成對(duì)抗神經(jīng)網(wǎng)絡(luò)，從微小樣本中重建每個(gè)幀，同時(shí)依靠流的時(shí)間和空間內(nèi)容以穩(wěn)定而非抖動(dòng)的方式填充細(xì)節(jié)。
如上圖所示，從幀到幀，未完全采樣的蜥蜴頭基本上是無(wú)法區(qū)分的，而“重構(gòu)”圖像中的相鄰樹(shù)皮不如“參考”像素那么清晰或細(xì)膩。傳統(tǒng)的凹版渲染系統(tǒng)會(huì)將這些像素描繪為低分辨率的平面陰影塊，而DeepFovea保留更多的原始形狀和顏色。
DeepFovea之所以重要，是因?yàn)榕c標(biāo)準(zhǔn)的中心渲染相比，它提供了電源效率和圖像質(zhì)量的出色組合。Facebook聲稱(chēng)，渲染降低了14倍，這意味著它將能夠向依賴(lài)于凝視檢測(cè)的顯示器提供實(shí)時(shí)，低延遲的視頻，這是構(gòu)建輕巧的VR和AR頭顯的必要步驟，該頭顯將顯示高分辨率圖形最初呈現(xiàn)在云端。
Facebook的邁克爾·阿布拉什（Michael Abrash）去年在Oculus Connect 5上首次暗示了DeepFovea的概念，并暗示在未來(lái)將基于深度學(xué)習(xí)眼動(dòng)追蹤結(jié)合在一起，以實(shí)現(xiàn)更高分辨率的VR頭顯，例如Half Dome原型。
Facebook不僅在下一代頭顯上使用DeepFovea，還為研究人員，VR工程師和圖形工程師發(fā)布了網(wǎng)絡(luò)體系結(jié)構(gòu)的示例版本。
