進展1：OpenAI發(fā)布全球規(guī)模最大的預(yù)訓(xùn)練語言模型GPT-3
2020年5月，OpenAI發(fā)布了迄今為止全球規(guī)模最大的預(yù)訓(xùn)練語言模型GPT-3。GPT-3具有1750億參數(shù)，訓(xùn)練所用的數(shù)據(jù)量達到45TB，訓(xùn)練費用超過1200萬美元。對于所有任務(wù)，應(yīng)用GPT-3無需進行任何梯度更新或微調(diào)，僅需要與模型文本交互為其指定任務(wù)和展示少量演示即可使其完成任務(wù)。GPT-3在許多自然語言處理數(shù)據(jù)集上均具有出色的性能，包括翻譯、問答和文本填空任務(wù)，還包括一些需要即時推理或領(lǐng)域適應(yīng)的任務(wù)等，已在很多實際任務(wù)上大幅接近人類水平。
進展2：DeepMind的AlphaFold2破解蛋白質(zhì)結(jié)構(gòu)預(yù)測難題
2020年11月30日，Google旗下DeepMind公司的AlphaFold2人工智能系統(tǒng)在第14屆國際蛋白質(zhì)結(jié)構(gòu)預(yù)測競賽（CASP）中取得桂冠，在評估中的總體中位數(shù)得分達到了92.4分，其準確性可以與使用冷凍電子顯微鏡（CryoEM）、核磁共振或X射線晶體學(xué)等實驗技術(shù)解析的蛋白質(zhì)3D結(jié)構(gòu)相媲美，有史以來首次把蛋白質(zhì)結(jié)構(gòu)預(yù)測任務(wù)做到了基本接近實用的水平?！蹲匀弧罚∟ature）雜志評論認為，AlphaFold2算法解決了困擾生物界“50年來的大問題”。
進展3：深度勢能分子動力學(xué)研究獲得戈登·貝爾獎
2020年11月19日，在美國亞特蘭大舉行的國際超級計算大會SC20上，智源學(xué)者、北京應(yīng)用物理與計算數(shù)學(xué)研究院王涵所在的“深度勢能”團隊，獲得了國際高性能計算應(yīng)用領(lǐng)域最高獎項“戈登·貝爾獎”。“戈登·貝爾獎”設(shè)立于1987年，由美國計算機協(xié)會（ACM）頒發(fā)，被譽為“計算應(yīng)用領(lǐng)域的諾貝爾獎”。該團隊研究的“分子動力學(xué)”，結(jié)合了分子建模、機器學(xué)習(xí)和高性能計算相關(guān)方法，能夠?qū)⒌谝恍栽砭确肿觿恿W(xué)模擬規(guī)模擴展到1億原子，同時計算效率相比此前人類最好水平提升1000倍以上，極大地提升了人類使用計算機模擬客觀物理世界的能力。美國計算機協(xié)會（ACM）評價道，基于深度學(xué)習(xí)的分子動力學(xué)模擬通過機器學(xué)習(xí)和大規(guī)模并行的方法，將精確的物理建模帶入了更大尺度的材料模擬中，將來有望為力學(xué)、化學(xué)、材料、生物乃至工程領(lǐng)域解決實際問題(如大分子藥物開發(fā))發(fā)揮更大作用。
進展4：DeepMind等用深度神經(jīng)網(wǎng)絡(luò)求解薛定諤方程促進量子化學(xué)發(fā)展
薛定諤方程是量子力學(xué)的基本方程，即便已經(jīng)提出70多年，能夠精確求解薛定諤方程的方法少之又少，多年來科學(xué)家們一直在努力攻克這一難題。2019年，DeepMind開發(fā)出一種費米神經(jīng)網(wǎng)絡(luò)（Fermionic neural networks，簡稱FermiNet）來近似計算薛定諤方程，為深度學(xué)習(xí)在量子化學(xué)領(lǐng)域的發(fā)展奠定了基礎(chǔ)，2020年10月，DeepMind開源了FermiNet，相關(guān)論文發(fā)表在物理學(xué)期刊Physical Review Research上。FermiNet是第一個利用深度學(xué)習(xí)來從第一性原理計算原子和分子能量的嘗試，在精度和準確性上都滿足科研標準，且是目前在相關(guān)領(lǐng)域中最為精準的神經(jīng)網(wǎng)絡(luò)模型。另外，2020年9月，德國柏林自由大學(xué)的幾位科學(xué)家也提出了一種新的深度學(xué)習(xí)波函數(shù)擬設(shè)方法，它可以獲得電子薛定諤方程的近乎精確解，相關(guān)研究發(fā)表在Nature Chemistry上。該類研究所展現(xiàn)的，不僅是深度學(xué)習(xí)在解決某一特定科學(xué)問題過程中的應(yīng)用，也是深度學(xué)習(xí)能在生物、化學(xué)、材料以及醫(yī)藥領(lǐng)域等各領(lǐng)域科研中被廣泛應(yīng)用的一個遠大前景。
進展5：美國貝勒醫(yī)學(xué)院通過動態(tài)顱內(nèi)電刺激實現(xiàn)高效率“視皮層打印機”功能
對于全球4000多萬盲人來說，重見光明是一個遙不可及的夢想。2020年5月，美國貝勒醫(yī)學(xué)院的研究者利用動態(tài)顱內(nèi)電刺激新技術(shù)，用植入的微電極陣列構(gòu)成視覺假體，在人類初級視皮層繪制W、S和Z等字母的形狀，成功地能夠讓盲人“看見”了這些字母。結(jié)合馬斯克創(chuàng)辦的腦機接口公司Neuralink發(fā)布的高帶寬、全植入式腦機接口系統(tǒng)，下一代視覺假體有可能精準刺激大腦初級視覺皮層的每一個神經(jīng)元，幫助盲人“看見”更復(fù)雜的信息，實現(xiàn)他們看清世界的夢想。
進展6：清華大學(xué)首次提出類腦計算完備性概念及計算系統(tǒng)層次結(jié)構(gòu)
2020年10月，智源學(xué)者，清華大學(xué)張悠慧、李國齊、宋森團隊首次提出“類腦計算完備性”概念以及軟硬件去耦合的類腦計算系統(tǒng)層次結(jié)構(gòu)，通過理論論證與原型實驗證明該類系統(tǒng)的硬件完備性與編譯可行性，擴展了類腦計算系統(tǒng)應(yīng)用范圍使之能支持通用計算。該研究成果發(fā)表在2020年10月14日的《自然》（Nature）期刊?！蹲匀弧分芸u論認為，“‘完備性’新概念推動了類腦計算”，對于類腦系統(tǒng)存在的軟硬件緊耦合問題而言這是“一個突破性方案”。
進展7：北京大學(xué)首次實現(xiàn)基于相變存儲器的神經(jīng)網(wǎng)絡(luò)高速訓(xùn)練系統(tǒng)
2020年12月，智源學(xué)者、北京大學(xué)楊玉超團隊提出并實現(xiàn)了一種基于相變存儲器（PCM）電導(dǎo)隨機性的神經(jīng)網(wǎng)絡(luò)高速訓(xùn)練系統(tǒng)，有效地緩解了人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中時間、能量開銷巨大并難以在片上實現(xiàn)的問題。該系統(tǒng)在誤差直接回傳算法（DFA）的基礎(chǔ)上進行改進，利用PCM電導(dǎo)的隨機性自然地產(chǎn)生傳播誤差的隨機權(quán)重，有效降低了系統(tǒng)的硬件開銷以及訓(xùn)練過程中的時間、能量消耗。該系統(tǒng)在大型卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中表現(xiàn)優(yōu)異，為人工神經(jīng)網(wǎng)絡(luò)在終端平臺上的應(yīng)用以及片上訓(xùn)練的實現(xiàn)提供了新的方向。
進展8：MIT僅用19個類腦神經(jīng)元實現(xiàn)控制自動駕駛汽車
受秀麗隱桿線蟲等小型動物腦的啟發(fā)，來自MIT計算機科學(xué)與人工智能實驗室（CSAIL）、維也納工業(yè)大學(xué)、奧地利科技學(xué)院的團隊僅用19個類腦神經(jīng)元就實現(xiàn)了控制自動駕駛汽車，而常規(guī)的深度神經(jīng)網(wǎng)絡(luò)則需要數(shù)百萬神經(jīng)元。此外，這一神經(jīng)網(wǎng)絡(luò)能夠模仿學(xué)習(xí)，具有擴展到倉庫的自動化機器人等應(yīng)用場景的潛力。這一研究成果已發(fā)表在2020年10月13日的《自然》雜志子刊《自然·機器智能》（Nature Machine Intelligence）上。
進展9：Google與FaceBook團隊分別提出全新無監(jiān)督表征學(xué)習(xí)算法
2020年初，Google與Facebook分別提出SimCLR與MoCo兩個算法，均能夠在無標注數(shù)據(jù)上學(xué)習(xí)圖像數(shù)據(jù)表征。兩個算法背后的框架都是對比學(xué)習(xí)（contrastive learning）。對比學(xué)習(xí)的核心訓(xùn)練信號是圖片的“可區(qū)分性”。模型需要區(qū)分兩個輸入是來自于同一圖片的不同視角，還是來自完全不同的兩張圖片的輸入。這個任務(wù)不需要人類標注，因此可以使用大量無標簽數(shù)據(jù)進行訓(xùn)練。盡管Google和FaceBook的兩個工作對很多訓(xùn)練的細節(jié)問題進行了不同的處理，但它們都表明，無監(jiān)督學(xué)習(xí)模型可以接近甚至達到有監(jiān)督模型的效果。
進展10：康奈爾大學(xué)提出無偏公平排序模型可緩解檢索排名的馬太效應(yīng)問題
近年來，檢索的公平性和基于反事實學(xué)習(xí)的檢索和推薦模型已經(jīng)成為信息檢索領(lǐng)域重要的研究方向，相關(guān)的研究成果已經(jīng)被廣泛應(yīng)用于點擊數(shù)據(jù)糾偏、模型離線評價等，部分技術(shù)已經(jīng)落地于阿里和華為等公司的推薦及搜索產(chǎn)品中。2020年7月，康奈爾大學(xué)Thorsten Joachims教授團隊發(fā)表了公平無偏的排序?qū)W習(xí)模型FairCo，一舉奪得了國際信息檢索領(lǐng)域頂會SIGIR 2020最佳論文獎。該研究分析了當(dāng)前排序模型普遍存在的位置偏差、排序公平性以及物品曝光的馬太效應(yīng)問題等，基于反事實學(xué)習(xí)技術(shù)提出了具有公平性約束的相關(guān)度無偏估計方法，并實現(xiàn)了排序性能的提升，受到了業(yè)界的廣泛關(guān)注和好評。
