繼2015年在Nature上發(fā)表“Deep Learning”一文以來，最近，2018年圖靈獎獲得者、“深度學(xué)習(xí)三巨頭”Yoshua Bengio、Yann LeCun、Geoffrey Hinton再次聯(lián)手，在ACM Communication上發(fā)表文章“Deep Learning for AI”，回顧了近年來深度學(xué)習(xí)的基本概念和一些突破性成就，描述深度學(xué)習(xí)的起源，以及討論一些未來的挑戰(zhàn)。
2018年，ACM（國際計算機(jī)學(xué)會）決定將計算機(jī)領(lǐng)域的最高獎項圖靈獎頒給Yoshua Bengio、Yann LeCun和Geoffrey Hinton，以表彰他們在計算機(jī)深度學(xué)習(xí)領(lǐng)域的貢獻(xiàn)。這也是圖靈獎第三次同時頒給三位獲獎?wù)摺?/p>
用于計算機(jī)深度學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)在上世紀(jì)80年代就已經(jīng)被提出，但是在當(dāng)時科研界由于其缺乏理論支撐，且計算力算力有限，導(dǎo)致其一直沒有得到相應(yīng)的重視。
在AI界，當(dāng)Yoshua Bengio、Yann LeCun和Geoffrey Hinton這三位大神同時出場的時候，一定會有什么大事發(fā)生。
01、深度學(xué)習(xí)的興起
在2000年代早期，深度學(xué)習(xí)引入的一些元素，讓更深層的網(wǎng)絡(luò)的訓(xùn)練變得更加容易，也因此重新激發(fā)了神經(jīng)網(wǎng)絡(luò)的研究。
GPU和大型數(shù)據(jù)集的可用性是深度學(xué)習(xí)的關(guān)鍵因素，也得到了具有自動區(qū)分功能、開源、靈活的軟件平臺（如Theano、Torch、Caffe、TensorFlow等）的增強(qiáng)作用。訓(xùn)練復(fù)雜的深度網(wǎng)絡(luò)、重新使用最新模型及其構(gòu)建塊也變得更加容易。而更多層網(wǎng)絡(luò)的組合允許更復(fù)雜的非線性，在感知任務(wù)中取得了意料之外的結(jié)果。
深度學(xué)習(xí)深在哪里？有人認(rèn)為，更深層次的神經(jīng)網(wǎng)絡(luò)可能更加強(qiáng)大，而這種想法在現(xiàn)代深度學(xué)習(xí)技術(shù)出現(xiàn)之前就有了。但是，這樣的想法其實(shí)是由架構(gòu)和訓(xùn)練程序的不斷進(jìn)步而得來的，并帶來了與深度學(xué)習(xí)興起相關(guān)的顯著進(jìn)步。
更深層的網(wǎng)絡(luò)能夠更好地概括「輸入-輸出關(guān)系類型」，而這不僅只是因?yàn)閰?shù)變多了。深度網(wǎng)絡(luò)通常比具有相同參數(shù)數(shù)量的淺層網(wǎng)絡(luò)具有更好的泛化能力。例如，時下流行的計算機(jī)視覺卷積網(wǎng)絡(luò)架構(gòu)類別是ResNet系列，其中最常見的是ResNet-50，有50層。
圖源：知乎 臭咸魚
深度網(wǎng)絡(luò)之所以能夠脫穎而出，是因?yàn)樗昧艘环N特定形式的組合性，其中一層的特征以多種不同的方式組合，這樣在下一層就能夠創(chuàng)建更多的抽象特征。
無監(jiān)督的預(yù)訓(xùn)練。當(dāng)標(biāo)記訓(xùn)練示例的數(shù)量較小，執(zhí)行任務(wù)所需的神經(jīng)網(wǎng)絡(luò)的復(fù)雜性也較小時，能夠使用一些其他信息源來創(chuàng)建特征檢測器層，再對這些具有有限標(biāo)簽的特征檢測器進(jìn)行微調(diào)。在遷移學(xué)習(xí)中，信息源是另一種監(jiān)督學(xué)習(xí)任務(wù)，具有大量標(biāo)簽。但是也可以通過堆疊自動編碼器來創(chuàng)建多層特征檢測器，無需使用任何標(biāo)簽。
線性整流單元的成功之謎。早期，深度網(wǎng)絡(luò)的成功，是因?yàn)槭褂昧诉壿媠igmoid非線性函數(shù)或與之密切相關(guān)的雙曲正切函數(shù)，對隱藏層進(jìn)行無監(jiān)督的預(yù)訓(xùn)練。
長期以來，神經(jīng)科學(xué)一直假設(shè)線性整流單元，并且已經(jīng)在RBM和卷積神經(jīng)網(wǎng)絡(luò)的某些變體中使用。讓人意想不到的是，人們驚喜地發(fā)現(xiàn)，非線性整流通過反向傳播和隨機(jī)梯度下降，讓訓(xùn)練深度網(wǎng)絡(luò)變得更加便捷，無需進(jìn)行逐層預(yù)訓(xùn)練。這是深度學(xué)習(xí)優(yōu)于以往對象識別方法的技術(shù)進(jìn)步之一。
語音和物體識別方面的突破。聲學(xué)模型將聲波轉(zhuǎn)換為音素片段的概率分布。Robinson、Morgan等人分別使用了晶片機(jī)和DSP芯片，他們的嘗試均表明，如果有足夠的處理能力，神經(jīng)網(wǎng)絡(luò)可以與最先進(jìn)的聲學(xué)建模技術(shù)相媲美。
2009年，兩位研究生使用NVIDIA GPU，證明了預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)在TIMIT數(shù)據(jù)集上的表現(xiàn)略優(yōu)于SOTA。這一結(jié)果重新激起了神經(jīng)網(wǎng)絡(luò)中幾個主要語音識別小組的興趣。2010年，在不需要依賴說話者訓(xùn)練的情況下，基本一致的深度網(wǎng)絡(luò)能在大量詞匯語音識別方面擊敗了SOTA。2012年，谷歌顯著改善了Android上的語音搜索。這是深度學(xué)習(xí)顛覆性力量的早期證明。
大約在同一時間，深度學(xué)習(xí)在2012年Image Net競賽中取得了戲劇性的勝利，在識別自然圖像中的一千種不同類別的物體時，其錯誤率幾乎減半。這場勝利的關(guān)鍵在于，李飛飛及其合作者為訓(xùn)練集收集了超過一百萬張帶標(biāo)簽的圖像，以及Alex Krizhevsky對多個GPU的高效使用。
深度卷積神經(jīng)網(wǎng)絡(luò)具有新穎性，例如，ReLU能加快學(xué)習(xí)，dropout能防止過度擬合，但它基本上只是一種前饋卷積神經(jīng)網(wǎng)絡(luò)，Yann LeCun和合作者多年來一直都在研究。
計算機(jī)視覺社區(qū)對這一突破的反應(yīng)令人欽佩。證明卷積神經(jīng)網(wǎng)絡(luò)優(yōu)越性的證據(jù)無可爭議，社區(qū)很快就放棄了以前的手工設(shè)計方法，轉(zhuǎn)而使用深度學(xué)習(xí)。
02、深度學(xué)習(xí)近期的主要成就
三位大神選擇性地討論了深度學(xué)習(xí)的一些最新進(jìn)展，如軟注意力（soft attention）和Transformer架構(gòu)。
深度學(xué)習(xí)的一個重大發(fā)展，尤其是在順序處理方面，是乘法交互的使用，尤其是軟注意力的形式。這是對神經(jīng)網(wǎng)絡(luò)工具箱的變革性補(bǔ)充，因?yàn)樗鼘⑸窠?jīng)網(wǎng)絡(luò)從純粹的矢量轉(zhuǎn)換機(jī)器，轉(zhuǎn)變?yōu)槟軌騽討B(tài)選擇對哪些輸入進(jìn)行操作的架構(gòu)，并且將信息存儲在關(guān)聯(lián)存儲器中。這種架構(gòu)的關(guān)鍵特性是，它們能有效地對不同類型的數(shù)據(jù)結(jié)構(gòu)進(jìn)行操作。
軟注意力可用于某一層的模塊，可以動態(tài)選擇它們來自前一層的哪些向量，從而組合，計算輸出。這可以使輸出獨(dú)立于輸入的呈現(xiàn)順序（將它們視為一組），或者利用不同輸入之間的關(guān)系（將它們視為圖形）。
Transformer架構(gòu)已經(jīng)成為許多應(yīng)用中的主導(dǎo)架構(gòu)，它堆疊了許多層“self-attention”模塊。同一層中對每個模塊使用標(biāo)量積來計算其查詢向量與該層中其他模塊的關(guān)鍵向量之間的匹配。匹配被歸一化為總和1，然后使用產(chǎn)生的標(biāo)量系數(shù)來形成前一層中其他模塊產(chǎn)生的值向量的凸組合。結(jié)果向量形成下一計算階段的模塊的輸入。
模塊可以是多向的，以便每個模塊計算幾個不同的查詢、鍵和值向量，從而使每個模塊有可能有幾個不同的輸入，每個輸入都以不同的方式從前一階段的模塊中選擇。在此操作中，模塊的順序和數(shù)量無關(guān)緊要，因此可以對向量集進(jìn)行操作，而不是像傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中那樣對單個向量進(jìn)行操作。例如，語言翻譯系統(tǒng)在輸出的句子中生成一個單詞時，可以選擇關(guān)注輸入句子中對應(yīng)的一組單詞，與其在文本中的位置無關(guān)。
03、未來的挑戰(zhàn)
深度學(xué)習(xí)的重要性以及適用性在不斷地被驗(yàn)證，并且正在被越來越多的領(lǐng)域采用。對于深度學(xué)習(xí)而言，提升它的性能表現(xiàn)有簡單直接的辦法——提升模型規(guī)模。
通過更多的數(shù)據(jù)和計算，它通常就會變得更聰明。比如有1750億參數(shù)的GPT-3大模型（但相比人腦中的神經(jīng)元突觸而言仍是一個小數(shù)目）相比只有15億參數(shù)的GPT-2而言就取得了顯著的提升。
但是三巨頭在討論中也透露到，對于深度學(xué)習(xí)而言仍然存在著靠提升參數(shù)模型和計算無法解決的缺陷。
比如說與人類的學(xué)習(xí)過程而言，如今的機(jī)器學(xué)習(xí)仍然需要在以下幾個方向取得突破：
1、監(jiān)督學(xué)習(xí)需要太多的數(shù)據(jù)標(biāo)注，而無模型強(qiáng)化學(xué)習(xí)又需要太多試錯。對于人類而言，想要學(xué)習(xí)某項技能肯定不需要這么多的練習(xí)。
2、如今的系統(tǒng)對于分布變化適應(yīng)的魯棒性比人類差的太遠(yuǎn)，人類只需要幾個范例，就能夠快速適應(yīng)類似的變化。
3、如今的深度學(xué)習(xí)對于感知而言無疑是最為成功的，也就是所謂的系統(tǒng)1類任務(wù)，如何通過深度學(xué)習(xí)進(jìn)行系統(tǒng)2類任務(wù)，則需要審慎的通用步驟。在這方面的研究令人期待。
在早期，機(jī)器學(xué)習(xí)的理論學(xué)家們始終關(guān)注于獨(dú)立相似分布假設(shè)，也就是說測試模型與訓(xùn)練模型服從相同的分布。而不幸的是，在現(xiàn)實(shí)世界中這種假設(shè)并不成立：比如說由于各種代理的行為給世界帶來的變化，就會引發(fā)不平穩(wěn)性；又比如說總要有新事物去學(xué)習(xí)和發(fā)現(xiàn)的學(xué)習(xí)代理，其智力的界限就在不斷提升。
所以現(xiàn)實(shí)往往是即便如今最厲害的人工智能，從實(shí)驗(yàn)室投入到實(shí)際應(yīng)用中時，其性能仍然會大打折扣。
所以三位大神對于深度學(xué)習(xí)未來的重要期待之一，就是當(dāng)分布發(fā)生變化時能夠迅速適應(yīng)并提升魯棒性（所謂的不依賴于分布的泛化學(xué)習(xí)），從而在面對新的學(xué)習(xí)任務(wù)時能夠降低樣本數(shù)量。
如今的監(jiān)督式學(xué)習(xí)系統(tǒng)相比人類而言，在學(xué)習(xí)新事物的時候需要更多的事例，而對于無模型強(qiáng)化學(xué)習(xí)而言，這樣的情況更加糟糕——因?yàn)橄啾葮?biāo)注的數(shù)據(jù)而言，獎勵機(jī)制能夠反饋的信息太少了。
所以，我們該如何設(shè)計一套全新的機(jī)械學(xué)習(xí)系統(tǒng)，能夠面對分布變化時具備更好的適應(yīng)性呢？
從同質(zhì)層到代表實(shí)體的神經(jīng)元組
如今的證據(jù)顯示，相鄰的神經(jīng)元組可能代表了更高級別的向量單元，不僅能夠傳遞標(biāo)量，而且能夠傳遞一組坐標(biāo)值。這樣的想法正是膠囊架構(gòu)的核心，在單元中的元素與一個向量相關(guān)聯(lián)，從中可以讀取關(guān)鍵向量、數(shù)值向量（有時也可能是一個查詢向量）。
適應(yīng)多個時間尺度
大多數(shù)神經(jīng)網(wǎng)絡(luò)只有兩個時間尺度：權(quán)重在許多示例中適應(yīng)得非常慢，而行為卻在每個新輸入中對于變化適應(yīng)得非常快速。通過添加快速適應(yīng)和快速衰減的“快速權(quán)重”的疊加層，則會讓計算機(jī)具備非常有趣的新能力。
尤其是它創(chuàng)建了一個高容量的短期存儲，可以允許神經(jīng)網(wǎng)絡(luò)執(zhí)行真正的遞歸，，其中相同的神經(jīng)元可以在遞歸調(diào)用中重復(fù)使用，因?yàn)樗鼈冊诟呒墑e調(diào)用中的活動向量可以重建稍后使用快速權(quán)重中的信息。
多時間尺度適應(yīng)的功能在元學(xué)習(xí)（meta-learning）中正在逐漸被采納。
更高層次的認(rèn)知
在考慮新的任務(wù)時，例如在具有不一樣的交通規(guī)則的城市中駕駛，甚至想象在月球上駕駛車輛時，我們可以利用我們已經(jīng)掌握的知識和通用技能，并以新的方式動態(tài)地重新組合它們。
但是當(dāng)我們采用已知的知識來適應(yīng)一個新的設(shè)置時，如何避免已知知識對于新任務(wù)帶來的噪音干擾？開始步驟可以采用Transformer架構(gòu)和復(fù)發(fā)獨(dú)立機(jī)制Recurrent Independent Mechanisms）。
對于系統(tǒng)1的處理能力允許我們在計劃或者推測時猜測潛在的好處或者危險。但是在更高級的系統(tǒng)級別上，可能就需要AlphaGo的蒙特卡羅樹搜索的價值函數(shù)了。
機(jī)械學(xué)習(xí)依賴于歸納偏差或者先驗(yàn)經(jīng)驗(yàn)，以鼓勵在關(guān)于世界假設(shè)的兼容方向上學(xué)習(xí)。系統(tǒng)2處理處理的性質(zhì)和他們認(rèn)知的神經(jīng)科學(xué)理論，提出了幾個這樣的歸納偏差和架構(gòu)，可以來設(shè)計更加新穎的深度學(xué)習(xí)系統(tǒng)。那么如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)，能夠讓它們發(fā)現(xiàn)這個世界潛在的一些因果屬性呢？
在20世紀(jì)提出的幾個代表性的AI研究項目為我們指出了哪些研究方向？顯然，這些AI項目都想要實(shí)現(xiàn)系統(tǒng)2的能力，比如推理能力、將知識能夠迅速分解為簡單的計算機(jī)運(yùn)算步驟，并且能夠控制抽象變量或者示例。這也是未來AI技術(shù)前進(jìn)的重要方向。
