人與機(jī)器之間的比較性研究，往往受到人類自發(fā)解釋思維這一強(qiáng)烈偏見(jiàn)的影響。
來(lái)源丨TechTalks
作者丨Ben Dickson
編譯丨科技行者
人類級(jí)別的表現(xiàn)、人類級(jí)別的精度……在開(kāi)發(fā)AI系統(tǒng)的企業(yè)中，我們經(jīng)常會(huì)聽(tīng)到這類表述，其指向范圍則涵蓋人臉識(shí)別、物體檢測(cè)，乃至問(wèn)題解答等各個(gè)方面。隨著機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的不斷進(jìn)步，近年來(lái)越來(lái)越多卓越的產(chǎn)品也開(kāi)始將AI算法作為自身的實(shí)現(xiàn)基礎(chǔ)。
但是，這種比較往往只考慮到在有限數(shù)據(jù)集上對(duì)深度學(xué)習(xí)算法進(jìn)行的測(cè)試結(jié)果。一旦貿(mào)然將關(guān)鍵性任務(wù)交付給AI模型，這種草率的考核標(biāo)準(zhǔn)往往會(huì)導(dǎo)致AI系統(tǒng)的錯(cuò)誤期望，甚至可能產(chǎn)生危險(xiǎn)的后果。
最近一項(xiàng)來(lái)自德國(guó)各組織及高校的研究，強(qiáng)調(diào)了對(duì)深度技術(shù)在視覺(jué)數(shù)據(jù)處理領(lǐng)域進(jìn)行性能評(píng)估時(shí)所面臨的實(shí)際挑戰(zhàn)。研究人員們?cè)谶@篇題為《人與機(jī)器的感知比較：眾所周知的難題》的論文中，著重指出了當(dāng)前深度神經(jīng)網(wǎng)絡(luò)與人類視覺(jué)系統(tǒng)的識(shí)別能力比較方法存在的幾個(gè)重要問(wèn)題。
在這項(xiàng)研究中，科學(xué)家們進(jìn)行了一系列實(shí)驗(yàn)，包括深入挖掘深度學(xué)習(xí)結(jié)果的深層內(nèi)容，并將其與人類視覺(jué)系統(tǒng)的功能做出比較。他們的發(fā)現(xiàn)提醒我們，即使AI看似擁有與人類相近甚至已經(jīng)超越人類的視覺(jué)識(shí)別能力，我們?nèi)匀恍枰灾?jǐn)慎的態(tài)度看待這方面結(jié)果。
人類與計(jì)算機(jī)視覺(jué)的復(fù)雜性
對(duì)于人類感知能力的基本原理，特別是重現(xiàn)這種感知效果的無(wú)休止探索當(dāng)中，以深度學(xué)習(xí)為基礎(chǔ)的計(jì)算機(jī)視覺(jué)技術(shù)帶來(lái)了最令人稱道的表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)算法中所常用的架構(gòu)，能夠完成種種傳統(tǒng)軟件根本無(wú)法實(shí)現(xiàn)的高難度任務(wù)。
然而，將神經(jīng)網(wǎng)絡(luò)與人類感知進(jìn)行比較，仍是一項(xiàng)巨大的挑戰(zhàn)。一方面是因?yàn)槲覀儗?duì)人類的視覺(jué)系統(tǒng)乃至整個(gè)人類大腦還不夠了解，另一方面則是因?yàn)樯疃葘W(xué)習(xí)系統(tǒng)本身的復(fù)雜運(yùn)作機(jī)制同樣令人難以捉摸。事實(shí)上，深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜度之高，往往令創(chuàng)造者也對(duì)其感到困惑。
近年來(lái)，大量研究試圖評(píng)估神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理，及其在處理現(xiàn)實(shí)情況中表現(xiàn)出的健壯性。德國(guó)研究人員們?cè)谡撐闹袑懙溃?ldquo;盡管進(jìn)行了大量研究，但對(duì)人類感知與機(jī)器感知能力進(jìn)行比較，仍然極度困難。”
在此次研究中，科學(xué)家們主要關(guān)注三個(gè)核心領(lǐng)域，借此評(píng)估人類與深度神經(jīng)網(wǎng)絡(luò)究竟如何處理視覺(jué)數(shù)據(jù)。
神經(jīng)網(wǎng)絡(luò)如何感知輪廓？
第一項(xiàng)測(cè)試為輪廓檢測(cè)。在此項(xiàng)實(shí)驗(yàn)中，人類與AI參與者需要說(shuō)出所面對(duì)的圖像中是否包含閉合輪廓。其目標(biāo)在于了解深度學(xué)習(xí)算法是否掌握了閉合與開(kāi)放形狀的概念，以及其能夠在各類條件下都順利檢測(cè)出符合概念定義的目標(biāo)。
▲你能判斷出，以上哪幅圖像中包含閉合圖形嗎？
研究人員們寫道，“對(duì)于人類來(lái)說(shuō)，圖中所示為一個(gè)閉合輪廓，其周邊則分布著大量開(kāi)放輪廓。相比之下，DNN則可能很難檢測(cè)到閉合輪廓，因?yàn)樯窠?jīng)網(wǎng)絡(luò)可能會(huì)把閉合輪廓與其他圖形視為統(tǒng)一的整體。”
在實(shí)驗(yàn)當(dāng)中，科學(xué)家們使用了ResNet-50，即由微軟公司AI研究人員們開(kāi)發(fā)的一套流行卷積神經(jīng)網(wǎng)絡(luò)。他們使用遷移學(xué)習(xí)技術(shù)，使用14000個(gè)閉合與開(kāi)放輪廓圖像對(duì)該AI模型進(jìn)行了微調(diào)。
接下來(lái)，他們又通過(guò)其他類似的訓(xùn)練數(shù)據(jù)（使用不同指向的圖形）進(jìn)行AI測(cè)試。初步發(fā)現(xiàn)表明，經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)似乎掌握了閉合輪廓的基本概念。即使訓(xùn)練數(shù)據(jù)集中僅包含直線圖形，模型也能夠在處理曲線圖形時(shí)帶來(lái)良好表現(xiàn)。
科學(xué)家們寫道，“這些結(jié)果表明，我們的模型確實(shí)掌握了開(kāi)放輪廓與閉合輪廓的概念，而且其判斷過(guò)程與人類非常相似。”
▲即使訓(xùn)練數(shù)據(jù)集中僅包含直線圖形，模型也能夠在處理曲線圖形時(shí)帶來(lái)良好表現(xiàn)。
但進(jìn)一步調(diào)查顯示，某些不會(huì)影響到人類判斷的因素卻有可能降低AI模型的判斷準(zhǔn)確率。例如，調(diào)整線條的顏色與寬度會(huì)導(dǎo)致深度學(xué)習(xí)模型的準(zhǔn)確率驟然下降。而當(dāng)形狀的尺寸超過(guò)特定大小時(shí)，模型似乎也難以正確對(duì)形狀作出判斷。
▲當(dāng)圖形中包含不同的顏色與粗細(xì)線條，且總體尺寸遠(yuǎn)大于訓(xùn)練集圖像時(shí)，ResNet-50神經(jīng)網(wǎng)絡(luò)將很難做出準(zhǔn)確判斷。
此外，神經(jīng)網(wǎng)絡(luò)對(duì)于對(duì)抗性干擾也顯得非常敏感。所謂對(duì)抗性干擾，屬于一類精心設(shè)計(jì)的變化。人眼雖然無(wú)法察覺(jué)這些變化，但卻會(huì)給機(jī)器學(xué)習(xí)系統(tǒng)的行為帶來(lái)巨大影響。
▲右側(cè)圖像已經(jīng)進(jìn)行過(guò)對(duì)抗性干擾處理。在人眼看來(lái)，兩張圖像沒(méi)有任何區(qū)別；但對(duì)于神經(jīng)網(wǎng)絡(luò)，二者卻已經(jīng)截然不同。
為了進(jìn)一步研究AI的決策過(guò)程，科學(xué)家們使用了特征袋（Bag-of-Feature）網(wǎng)絡(luò)，這項(xiàng)技術(shù)旨在對(duì)深度學(xué)習(xí)模型決策中所使用的數(shù)據(jù)位進(jìn)行定位。分析結(jié)果證明，“神經(jīng)網(wǎng)絡(luò)在進(jìn)行分類標(biāo)記時(shí)，確實(shí)會(huì)使用某些局部特征，例如具有端點(diǎn)與短邊，作為強(qiáng)依據(jù)。”
機(jī)器學(xué)習(xí)能夠?qū)D像做出推理嗎？
第二項(xiàng)實(shí)驗(yàn)旨在測(cè)試深度學(xué)習(xí)算法在抽象視覺(jué)推理中的表現(xiàn)。用于實(shí)驗(yàn)的數(shù)據(jù)基于合成視覺(jué)推理測(cè)試（SVRT），AI需要在其中回答一系列關(guān)于圖像中不同形狀間關(guān)系的問(wèn)題。測(cè)試問(wèn)題分為找不同（例如，圖像中的兩個(gè)形狀是否相同？）以及空間判斷（例如，較小的形狀是否位于較大形狀的中心？）等。人類觀察者能夠輕松解決這些問(wèn)題。
▲SVRT挑戰(zhàn)，要求AI模型解決找不同與空間判斷類型的任務(wù)。
在實(shí)驗(yàn)當(dāng)中，研究人員們使用RESNet-50測(cè)試了其在不同大小的訓(xùn)練數(shù)據(jù)集中的表現(xiàn)。結(jié)果表明，通過(guò)28000個(gè)樣本進(jìn)行微調(diào)訓(xùn)練之后的模型，在找不同與空間判斷任務(wù)上均表現(xiàn)良好。（之前的實(shí)驗(yàn)，使用的是一套小型神經(jīng)網(wǎng)絡(luò)并配合100萬(wàn)張樣本圖像）隨著研究人員減少訓(xùn)練示例的數(shù)量，AI的性能也開(kāi)始下滑，而且在找不同任務(wù)中的下滑速度更快。
研究人員們寫道，“相較于空間判斷類任務(wù)，找不同任務(wù)對(duì)于訓(xùn)練樣本的需求量更大。當(dāng)然，這并不能作為前饋神經(jīng)網(wǎng)絡(luò)與人類視覺(jué)系統(tǒng)之間存在系統(tǒng)性差異的證據(jù)。”
研究人員們指出，人類視覺(jué)系統(tǒng)天然就在接受大量抽象視覺(jué)推理任務(wù)的訓(xùn)練。因此，直接比較對(duì)于只能在低數(shù)據(jù)樣本量下進(jìn)行學(xué)習(xí)的深度學(xué)習(xí)模型并不公平。所以，不能貿(mào)然給出人類與AI內(nèi)部信息處理方式之間存在差異的結(jié)論。
研究人員們寫道，“如果真的從零開(kāi)始進(jìn)行訓(xùn)練，人類視覺(jué)系統(tǒng)在這兩項(xiàng)識(shí)別任務(wù)中，沒(méi)準(zhǔn)會(huì)與表現(xiàn)出ResNet-50類似的情況。”
衡量深度學(xué)習(xí)的間隙判別
間隙送別可以算是視覺(jué)系統(tǒng)當(dāng)中最有趣的測(cè)試之一。以下圖為例，大家能不能猜出完整的圖像呈現(xiàn)的是什么？
毫無(wú)疑問(wèn)，這是一只貓。從左上方的局部圖來(lái)看，大家應(yīng)該能夠輕松預(yù)測(cè)出圖像的內(nèi)容。換言之，我們?nèi)祟愋枰吹揭欢〝?shù)量的整體形狀與圖案，才能識(shí)別出圖像中的物體。而局部放大得越夸張，失去的特征也就越多，導(dǎo)致我們?cè)诫y以區(qū)分圖像中的內(nèi)容。
▲根據(jù)圖中所包含的特征，小貓圖像中不同部分的局部放大圖，會(huì)對(duì)人類的感知產(chǎn)生不同的影響。
深度學(xué)習(xí)系統(tǒng)的判斷也以特征為基礎(chǔ)，但具體方式卻更加巧妙。神經(jīng)網(wǎng)絡(luò)有時(shí)候能夠發(fā)現(xiàn)肉眼無(wú)法察覺(jué)的微小特征，而且即使把局部放得很大，這些特征仍然能夠得到正確檢測(cè)。
在最終實(shí)驗(yàn)當(dāng)中，研究人員們?cè)噲D通過(guò)逐漸放大圖像，直到AI模型的精度開(kāi)始顯著下降，借此衡量深度神經(jīng)網(wǎng)絡(luò)的間隙判別。
這項(xiàng)實(shí)驗(yàn)表明，人類的圖像間隙判別與深度神經(jīng)網(wǎng)絡(luò)之間存在很大差異。但研究人員們?cè)谄湔撐闹兄赋觯酝P(guān)于神經(jīng)網(wǎng)絡(luò)間隙判別的大多數(shù)測(cè)試，主要基于人類選擇的局部圖。這些局部的選擇，往往有利于人類視覺(jué)系統(tǒng)。
在使用“機(jī)器選擇”的局部圖對(duì)深度學(xué)習(xí)模型進(jìn)行測(cè)試時(shí)，研究人員們發(fā)現(xiàn)人類與AI的間隙判別表現(xiàn)基本一致。
▲間隙判別測(cè)試能夠評(píng)估局部圖對(duì)于AI判斷準(zhǔn)確率的具體影響。
研究人員們寫道，“這些結(jié)果顯示，只有在完全相同的基礎(chǔ)之上進(jìn)行人機(jī)比較測(cè)試，才能避免人為設(shè)計(jì)給結(jié)果造成的偏差。人與機(jī)器之間的所有條件、命令與程序都應(yīng)盡可能接近，借此保證觀察到的所有差異都源自決策策略——而非測(cè)試程序中的差異。”
縮小AI與人類智能之間的鴻溝
隨著AI系統(tǒng)復(fù)雜程度的不斷提升，我們也需要開(kāi)發(fā)出越來(lái)越復(fù)雜的方法以進(jìn)行AI測(cè)試。這一領(lǐng)域之前的研究表明，大部分用于衡量計(jì)算機(jī)視覺(jué)系統(tǒng)準(zhǔn)確率的流行基準(zhǔn)測(cè)試中存在一定誤導(dǎo)性。德國(guó)研究人員們的工作，旨在更好地衡量人工智能表現(xiàn)，并準(zhǔn)確量化AI與人類智能之間的真實(shí)差異。他們得出的結(jié)論，也將為未來(lái)的AI研究提供方向。
研究人員們總結(jié)道，“人與機(jī)器之間的比較性研究，往往受到人類自發(fā)解釋思維這一強(qiáng)烈偏見(jiàn)的影響。只有選擇適當(dāng)?shù)姆治龉ぞ卟⑦M(jìn)行廣泛的交叉核查（例如網(wǎng)絡(luò)架構(gòu)的變化、實(shí)驗(yàn)程序的統(tǒng)一、概括性測(cè)試、對(duì)抗性示例以及受約束的網(wǎng)絡(luò)測(cè)試等），我們才能對(duì)結(jié)果做出合理解釋，并正視這種自發(fā)性偏見(jiàn)的存在?？偠灾?，在對(duì)人類與機(jī)器的感知能力進(jìn)行比較時(shí)，必須注意不要向其中人為強(qiáng)加任何系統(tǒng)性的偏見(jiàn)。”
