在不遠的將來,你也許能夠與遠方的人交流,他們的虛擬影像仿佛就站在你面前一樣栩栩如生。
Facebook的現(xiàn)實實驗室研究部門(Reality Labs)正試圖將這一前景變?yōu)楝F(xiàn)實,其最新研究結(jié)果相當令人信服。
在一系列視頻中,這些虛擬頭像被稱為“Codec Avatars”,栩栩如生地漂浮在空中,可以互相交談,因為人們真實的面部表情會在虛擬現(xiàn)實頭像上連續(xù)地復制細節(jié)。
Facebook表示,通過模擬在同一個房間里的感覺,該項目有一天可以緩解遠距離家庭成員、友誼或人際關(guān)系中的孤獨感。
除了使用Facebook的先進技術(shù),個人的虛擬現(xiàn)實版本可以隨時隨地見面。
匹茲堡Facebook現(xiàn)實實驗室的研究主管亞瑟·謝赫(Yaser Sheikh)舉了一個例子,兩個在現(xiàn)實生活中從未謀面的人在埃菲爾鐵塔上虛擬聚會。
(圖源:視頻截圖)
臉書現(xiàn)實實驗室在一篇博客中解釋說:“利用開創(chuàng)性的3D捕捉技術(shù)和人工智能系統(tǒng),Codec Avatars可以讓人們在未來快速、輕松地創(chuàng)建出逼真的虛擬化身,幫助虛擬現(xiàn)實中的社交聯(lián)系變得像現(xiàn)實世界中的一樣自然和常見。”
“多年來,化身一直是電子游戲和應用程序的主要角色,但謝赫相信,極其精確的虛擬人物形象——那些能夠完美捕捉苦笑或皺眉的面孔——將會是顛覆性的。”
它是如何工作的?
用戶進入Facebook現(xiàn)實實驗室的一個捕捉工作室,里面裝滿了相機和麥克風。其中一個捕捉工作室有1700個麥克風來記錄聲音以便達到身臨其境般的效果。
成千上萬的相機拍攝用戶的面部照片,從而組裝出一個人的三維個人資料。
“Codec Avatars”由代碼組裝成音頻和視覺信號。這些音頻和視覺信號被傳輸?shù)接脩襞宕鞯膶S妙^戴式耳機中。
這款耳機使用一系列紅外激光將人的虛擬化身投射到他們的視野中。
Facebook現(xiàn)實實驗室?guī)啄陙硪恢痹谘芯窟@項技術(shù)。
該研究小組展示了它如何能夠創(chuàng)造出3D的、逼真的用戶頭部虛擬再現(xiàn),并指出它目前正在努力改善虛擬化身嘴巴周圍的細節(jié)、“表情質(zhì)量”和眼神交流。
“捕捉工作室”通過麥克風和數(shù)百臺高分辨率相機收集用戶面部和身體的細節(jié)。根據(jù)Facebook現(xiàn)實實驗室的數(shù)據(jù),每個攝像頭每秒能捕獲1GB的數(shù)據(jù)。
其中一個工作室有1,700個麥克風,可以“用3D技術(shù)重建聲場”。
這款耳機目前只是一個原型,它使用一系列紅外激光將人的虛擬化身投射到他們的視野中。
該公司表示,制作一個準確的虛擬化身是讓虛擬視頻聊天體驗更受歡迎的唯一方法。
FRL研究科學家托馬斯?西蒙(Tomas Simon)在一份聲明中說,測量是基礎(chǔ)。
“現(xiàn)實感是由準確的數(shù)據(jù)驅(qū)動的,這需要良好的測量手段。因此,打造真正的虛擬化身的關(guān)鍵是找到一種方法來衡量人類表情中的身體細節(jié),比如一個人瞇起眼睛或皺起鼻子的方式。”
捕捉所有的面部表情、手勢和細微的細節(jié)已經(jīng)被證明是一項艱巨的任務(wù)。
謝赫在一份聲明中說:“我們通常把這稱為通過‘自我測試’和‘母親測試’。”
“你必須喜歡你的虛擬形象,你的母親也必須喜歡你的虛擬形象,然后你們才能像在現(xiàn)實生活中那樣舒服地互動。這是一個很高的標準。”
Facebook的研究人員可能還有很長的路要走,才能讓它逼真的虛擬化身變得和人類的孿生兄弟一樣難以區(qū)分。
在Facebook工程師頁面上發(fā)布的一段視頻中,兩位VR化身討論了高溫瑜伽。
虛擬化身的嘴巴、眼睛和臉頰會對真人的面部表情做出反應,但眼睛看起來還是有點死氣沉沉的,人類和虛擬化身之間的反應有一點延遲。
盡管如此,這標志著蘋果的Memoji甚至Facebook的Spaces等虛擬現(xiàn)實應用的突破性進步,后者允許用戶在聊天室里與朋友的虛擬現(xiàn)實復制品互動。
FRL的研究科學家薩拉吉(Jason Saragih)在一份聲明中說,這是第一種自動生成真人數(shù)字肖像的方法。
“它為虛擬面對面交流提供了一種可以廣泛推廣的方式。”
他補充說:“虛擬互動讓人感覺就在你面前,這是我們實現(xiàn)人際關(guān)系目標的一大步。”
Facebook認為這項技術(shù)可以改變?nèi)藗兺ㄟ^VR和AR眼鏡進行交流的方式。
它還可能對我們?nèi)绾未鎯τH人的數(shù)字記憶產(chǎn)生更廣泛的影響。
FRL技術(shù)項目經(jīng)理貝爾科(Danielle Belko)在一篇博客文章中解釋說:“亞瑟的父母進來給他們的孫輩和未來的曾孫錄了一條信息。他們創(chuàng)造了一個互動的時間膠囊。”
“我從來沒有想過遠程呈現(xiàn)技術(shù)會給我們的下一代帶來怎樣的影響,但是你能想象一下,當一個人不在了的時候,你還能看到他發(fā)來的個性化信息,這會是什么樣?”