近日,F(xiàn)acebook AI 開源了一個 AI 系統(tǒng),可以通過分析食物圖片,判斷需要用到的食材和制作過程,最后生成一份菜譜。
(由餅干圖片生成的菜譜,圖片來源 Facebook AI)
對于 AI 來說,從圖片中推導出菜譜主要需要兩方面的知識:一方面是搞清楚圖片中是什么食物;另一方面則是推斷出食材和配料的加工過程。傳統(tǒng)方法傾向于將這一過程簡化為匹配,系統(tǒng)首先判斷出圖片中是什么食物,再去已有數據庫中搜索和匹配相應的菜譜。如果沒有準確的對應菜譜,就會匹配一個最相似的。這樣的方法依賴大量的菜譜數據,而且缺乏靈活性和多樣性。
Facebook 研究人員采用了一種新的思路,把從圖片到菜譜的過程視為一個條件生成系統(tǒng)。給定一張食物圖片,AI 系統(tǒng)會先判斷它包含哪些食材和配料,進而以圖片、食材和配料表為條件,推導出它們的加工方式,最后根據加工方式的可能性從高到低排列,形成很多份菜譜。
不過有意思的是,這個 AI 系統(tǒng)可以接受和分析任何圖片。比如上傳個月亮圖片,被識別成“家常煎餅”,上傳個 iPhone,被當成“家常冰凝膠”,至于皮卡丘,則被當成了“煎蛋”。