解讀唇語是非常復雜的工作，人類在日常說話過程中嘴唇的微小移動是很難被可靠地解讀，對于失聰者來說，其平均準確率也僅為52.3%。 如今，研究人員已編寫了一種新的人工智能程序，其準確率十分高，可幫助每位失聰者讀懂唇語。
“這是一項了不起的工作。”未參與該研究的英國倫敦瑪麗皇后大學計算機科學家Helen Bear說。
編寫可以閱讀唇語的計算機代碼令人抓狂。因此，在新研究中，科學家向機器學習“求助”，讓計算機從數據中學習。他們?yōu)樵撓到y(tǒng)提供了數千小時的視頻和抄寫本，并讓計算機自己解決這個問題。
該項目始于14萬小時的YouTube視頻，視頻展示了人們在各種情況下進行的交談。然后，研究人員設計了一個程序，通過每個音素或單詞聲音的嘴部動作創(chuàng)建幾秒鐘的剪輯，并帶有標注。該程序過濾掉了非英語語音、非講話者面孔、低質量視頻和未直接拍攝的視頻。然后，他們裁剪了講話者嘴巴周圍的視頻。這樣產生了近4000個小時的錄像，包括超過12.7萬個英文單詞。
沒有參與該研究的美國哥倫比亞大學計算機科學家Hassan Akbari說，這個過程和由此產生的數據集比同類數據集大7倍，對于任何想要訓練類似系統(tǒng)閱讀嘴唇的人來說都是“重要且有價值的”。
此外，該過程部分依賴于神經網絡。AI算法包含許多連接在一起的簡單計算元素，這些元素以類似人腦的方式學習和處理信息。當研究人員為該系統(tǒng)提供未標記的視頻時，這些網絡會裁剪嘴巴動作片段。系統(tǒng)中的下一個程序也使用了神經網絡，為每個視頻幀提供了可能的音素列表及其概率。最后一組算法將可能的音素序列進行整理，并生成了英語單詞序列。
經過訓練，研究人員用它之前沒有看過的37分鐘的視頻測試了該系統(tǒng)。他們在發(fā)布于arXiv網站的論文中報告說，單詞錯誤率僅為41%。
這個成績可能聽起來并不怎么樣，但之前最好的算法——專注于單個字母而不是音素——的錯誤率為77%。在同一項研究中，專業(yè)唇讀者的錯誤率為93%（盡管在現實生活中他們能參考語境和肢體語言，這有助于讀唇）。這項工作由總部位于倫敦的人工智能公司DeepMind完成，但該公司拒絕就這一記錄發(fā)表評論。
Bear表示，該程序對音素的理解可能看起來不同，具體取決于之前和之后所說的內容。（例如，在說“boot”中的“t”時，嘴的形狀與說“beet”中的“t”不同。）系統(tǒng)有單獨的階段預測嘴唇形狀代表的音素和通過因素預測單詞。這意味著如果想教系統(tǒng)識別新的單詞，你需要重新訓練最后一個階段。但她說，這個AI也有弱點：它需要清晰、直白的視頻，41%的錯誤率遠非完美。
Akbarni表示，將程序整合到一部手機中可以讓聽力障礙人士隨身攜帶“翻譯”。這樣的翻譯也可以幫助那些不能說話的人，例如聲帶受損者。對于其他人來說，它可以簡單地幫助解析各種聊天。
這種技術也可應用于其他程序，例如分析安全視頻、解釋歷史鏡頭，或在音頻下降時聽到Skype伙伴的語音。新的AI方法甚至可以回答世界上最大的一個謎團：在2002年世界杯決賽中，法國足球運動員齊達內因用頭部頂撞對手而被紅牌罰下。他顯然是被對手的臟話所激怒，但他說了什么？我們也許可以揭開謎底了。（唐一塵編譯）
（原標題：讀唇用上人工智能）
