多模態(tài)大模型推動(dòng)AI邁向“通感”時(shí)代

沈湫莎
當(dāng)ChatGPT橫空出世,專家就預(yù)言它將改變?nèi)藱C(jī)交互的“接口”。當(dāng)下,多模態(tài)理解、生成和交互能力正成為大模型新一輪演化的重要方向,一個(gè)人人都能用語(yǔ)音“指揮”AI的低門檻時(shí)代或許已近在咫尺。

1.png

本文來自文匯網(wǎng),作者/沈湫莎。

如同人類的“五感”互相連通密不可分,人工智能(AI)的視覺、語(yǔ)言、音頻等模態(tài)間的邊界也在日漸融合。隨著人工智能感知、交互和生成能力的快速發(fā)展,多模態(tài)大模型正推動(dòng)人工智能邁進(jìn)“通感”時(shí)代。

記者昨天從上海人工智能實(shí)驗(yàn)室獲悉,該實(shí)驗(yàn)室發(fā)布的書生多模態(tài)大模型在全球80多種多模態(tài)和視覺評(píng)測(cè)任務(wù)中性能領(lǐng)先,超過谷歌、微軟、OpenAI等研發(fā)的同類模型。

書生多模態(tài)大模型包含200億個(gè)參數(shù),由80億個(gè)海量多模態(tài)樣本訓(xùn)練而成,支持350萬(wàn)語(yǔ)義標(biāo)簽的識(shí)別和理解,覆蓋開放世界常見的類別和概念,已具備開放世界理解、跨模態(tài)生成、多模態(tài)交互3方面核心能力。

當(dāng)ChatGPT橫空出世,專家就預(yù)言它將改變?nèi)藱C(jī)交互的“接口”。當(dāng)下,多模態(tài)理解、生成和交互能力正成為大模型新一輪演化的重要方向,一個(gè)人人都能用語(yǔ)音“指揮”AI的低門檻時(shí)代或許已近在咫尺。

從預(yù)定義任務(wù)到開放任務(wù),解鎖真實(shí)世界理解力

在快速增長(zhǎng)的各類應(yīng)用場(chǎng)景需求下,傳統(tǒng)計(jì)算機(jī)視覺已無法處理真實(shí)世界中數(shù)不勝數(shù)的特定任務(wù)和場(chǎng)景需求,迫切需要一種具備通用場(chǎng)景感知和復(fù)雜問題處理能力的高級(jí)視覺系統(tǒng)。書生多模態(tài)大模型融合了視覺、語(yǔ)言及多任務(wù)建模三大模型能力,即通用視覺大模型、用于文本理解的超大語(yǔ)言預(yù)訓(xùn)練模型(LLM)和用于多任務(wù)的兼容解碼建模大模型,這使它能夠更接近人類的感知和認(rèn)知能力。

在人工智能研究中,“開放世界”是指非預(yù)設(shè)、非學(xué)術(shù)集或封閉集定義的真實(shí)世界。傳統(tǒng)研究中,AI僅能完成預(yù)定義任務(wù),即學(xué)術(shù)集或封閉集定義的任務(wù),而這種任務(wù)范圍與真實(shí)的開放世界存在很大差距。例如,ImageNet-1K學(xué)術(shù)集包含1000種物體,其中約有兩種花、48種鳥和21種魚;而在真實(shí)世界中,花、鳥、魚的種類分別約為45萬(wàn)、1萬(wàn)和2萬(wàn)。

在開放世界中,書生多模態(tài)大模型正通過不斷學(xué)習(xí),獲得更接近人類的感知和認(rèn)知能力。在語(yǔ)義開放方面,它可以識(shí)別和理解開放世界中超過350萬(wàn)種語(yǔ)義,覆蓋日常生活中常見的物體類別、物體動(dòng)作和光學(xué)字符等,完成了從解決預(yù)定義任務(wù)到執(zhí)行開放任務(wù)的蛻變,為未來多模態(tài)通用人工智能(AGI)模型研究提供了有力支持。

看圖寫詩(shī),跨模態(tài)生成同時(shí)給出“創(chuàng)作思路”

眼下,AI技術(shù)的發(fā)展正面臨著大量跨模態(tài)任務(wù)的挑戰(zhàn)。如在自動(dòng)駕駛場(chǎng)景下,需準(zhǔn)確輔助車輛判斷交通燈狀態(tài)、道路標(biāo)志牌等信息,為車輛的決策規(guī)劃提供有效信息輸入。

看圖寫作是一種經(jīng)典的模態(tài)轉(zhuǎn)換能力。在“欣賞”了張大千的《湖山清夏圖》后,書生多模態(tài)大模型根據(jù)要求創(chuàng)作了一首七言絕句,詩(shī)篇如下:“山峰高聳入云天,云霧繚繞自成煙。忘身物外心自適,靜聽松濤入畫眠。”上海人工智能實(shí)驗(yàn)室表示,書生多模態(tài)大模型已經(jīng)具備了由圖像到文本的跨模態(tài)生成能力,最后一句還借鑒了唐代詩(shī)人韋莊的名句“春水碧于天,畫船聽雨眠”,體現(xiàn)出一定文化積累。

1.png

生成文本的同時(shí),書生大模型還給出了“創(chuàng)作思路”:首先確定圖片中描繪的元素;其次,從畫面中尋找能夠表達(dá)出詩(shī)人思想情感的元素,如山峰高聳、云霧繚繞、松濤等;第三,根據(jù)元素構(gòu)思詩(shī)句;最后,根據(jù)詩(shī)句的韻律和格律完善表達(dá)。

將圖像視為新語(yǔ)言,多模態(tài)交互降低使用門檻

當(dāng)人工智能邁入“通感”時(shí)代,對(duì)人們最近的影響是什么?上海人工智能實(shí)驗(yàn)室有關(guān)專家表示,書生多模態(tài)大模型可以將圖像視為一種新的語(yǔ)言,用戶可利用自然語(yǔ)言指令,靈活定義和管理任意視覺任務(wù)。

打個(gè)比方,當(dāng)你輸入一張照片,并用語(yǔ)音“指揮”AI將其轉(zhuǎn)換成一段文字并發(fā)送給父母時(shí),它能立即理解并完成指令。多模態(tài)交互功能降低了AI任務(wù)的門檻,使AI有望成為萬(wàn)千大眾都能使用的生產(chǎn)工具。

也就是說,人機(jī)交互的“接口”即將改變。過去,我們?cè)诓煌瑘?chǎng)景中借助不同軟件與虛擬世界相連,這意味著我們還處于圖形界面用戶時(shí)代;未來,多模態(tài)大模型將把我們帶入自然語(yǔ)言對(duì)話界面時(shí)代,如鋼鐵俠擁有了AI助手賈維斯。

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無評(píng)論