自1956年的達(dá)特茅斯會(huì)議開(kāi)啟“人工智能元年”，該領(lǐng)域經(jīng)過(guò)了兩起兩落。到2006年前后，雖然Hinton等人已發(fā)表論文證明，通過(guò)增加神經(jīng)網(wǎng)絡(luò)的層數(shù)，可以學(xué)到更好的數(shù)據(jù)表征，并進(jìn)一步提升模型的性能，但是大家認(rèn)為這還是新瓶換舊酒，還在遲疑中。直到深度學(xué)習(xí)概念的推廣，在語(yǔ)言識(shí)別等領(lǐng)域獲得成功。特別是2012年AlexNet在ImageNet的比賽中取得重大突破，性能提升10多個(gè)百分點(diǎn)。深度神經(jīng)網(wǎng)絡(luò)的實(shí)際效果進(jìn)一步得到肯定，并掀起了人工智能的第三波熱潮。CV“四小龍”亦在此時(shí)間段前后成立，開(kāi)啟感知智能的創(chuàng)業(yè)浪潮。
ResNet和AlphaGo等成果的推出，進(jìn)一步完善神經(jīng)網(wǎng)絡(luò)的訓(xùn)練并拓展了其應(yīng)用范圍，從而將這波浪潮推到新高度。2018年秋季谷歌推出BERT，橫掃了11項(xiàng)自然語(yǔ)言處理(NLP)任務(wù)，隨后OpenAI亦相繼推出GPT-2、GPT-3，讓大家看到認(rèn)知智能落地的潛在性。
時(shí)光如梭，2021年悄然過(guò)去。驀然回首，2021年的AI大事件有哪些呢？新的一年，AI又將呈現(xiàn)怎樣的發(fā)展趨勢(shì)？我們將按下述幾個(gè)主題展開(kāi)：
大模型不斷推出，提高行業(yè)準(zhǔn)入壁壘；
構(gòu)建基石模型,拓展應(yīng)用邊界；
考慮公平和倫理，保證落地的安全和責(zé)任。
大模型不斷推出，提高行業(yè)準(zhǔn)入壁壘
從業(yè)界的角度看，2021年的一個(gè)關(guān)鍵詞是“大模型”。
如圖1所示，當(dāng)GPT-3的模型規(guī)模達(dá)到1750億參數(shù)后，國(guó)外大廠又提出了各樣的模型，進(jìn)一步提高了模型的大小。具有代表性的成果有：
Switch Transformer：谷歌于2021年1月11日提出，聲稱(chēng)參數(shù)量從GPT-3的1750億提高到1.6萬(wàn)億。Switch Transformer基于稀疏激活的專(zhuān)家模型(Mixture of Experts),論文中提到在計(jì)算資源相同的情況下，訓(xùn)練速度可以達(dá)到T5(Text-To-Text Transfer Transformer)模型的4-7倍[1]。
MT-NLG：2021年年底，英偉達(dá)與微軟聯(lián)合發(fā)布了MT-NLG(Megatron-Turing Natural Language Generation)，該模型含參數(shù)5300億個(gè)，宣稱(chēng)是目前最大的且最強(qiáng)的語(yǔ)言生成預(yù)訓(xùn)練模型[2]。
圖1.NLP預(yù)訓(xùn)練模型參數(shù)隨著時(shí)間發(fā)展的趨勢(shì)(圖片源自[2])
國(guó)內(nèi)在今年亦推出了萬(wàn)億級(jí)的預(yù)訓(xùn)練模型和開(kāi)源計(jì)劃。例如:
悟道2.0：2021年6月，北京智源研究院發(fā)布悟道2.0，參數(shù)規(guī)模達(dá)到1.75萬(wàn)億，是GPT-3的10倍，超過(guò)了谷歌Switch Transformer的1.6萬(wàn)億參數(shù)記錄[3]。
“封神榜”大模型：2021年11月，在深圳IDEA大會(huì)上，粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院（簡(jiǎn)稱(chēng)“IDEA”）理事長(zhǎng)沈向洋正式宣布，開(kāi)啟“封神榜”大模型開(kāi)源計(jì)劃，涵蓋五個(gè)系列的億級(jí)自然語(yǔ)言預(yù)訓(xùn)練大模型，其中包括了最大的開(kāi)源中文BERT大模型“二郎神”系列[3]。
目前，預(yù)訓(xùn)練大模型已成為各家打造人工智能基礎(chǔ)設(shè)施的利器，從而提高行業(yè)的準(zhǔn)入壁壘。實(shí)現(xiàn)大模型，需要超大規(guī)模的算力和海量的數(shù)據(jù)。這對(duì)普通公司或者一般實(shí)驗(yàn)室會(huì)造成一定的困難。然而就技術(shù)而言，目前的大模型離我們期望的通用人工智能還有很大的差距。如何讓電腦有更多的創(chuàng)意，知識(shí)不斷地積累，還需要進(jìn)行大量的技術(shù)探索和創(chuàng)新。在落地的時(shí)候還需要更多地跟場(chǎng)景結(jié)合，甚至需要場(chǎng)景創(chuàng)新，才能更好地服務(wù)相關(guān)行業(yè)。
構(gòu)建基石模型，拓展應(yīng)用邊界
大模型的不斷推出，基本上基于深度神經(jīng)網(wǎng)絡(luò)和自學(xué)習(xí)的方式進(jìn)行，各個(gè)模型趨于“同質(zhì)化”(Homogenization)。因此，斯坦福大學(xué)的Percy Liang于2021年3月份召集了100多位研究學(xué)者，發(fā)起了基石模型(Foundation Models)的討論，并于8月發(fā)表了一篇200多頁(yè)的關(guān)于基石模型的綜述報(bào)告[5]。
圖2基石模型經(jīng)文本、圖像、語(yǔ)音等多模態(tài)數(shù)據(jù)訓(xùn)練，微調(diào)后服務(wù)下游應(yīng)用(圖片源自[5])
該報(bào)告定義了基石模型，試圖囊括目前大模型的能力、應(yīng)用、相關(guān)技術(shù)和社會(huì)影響。主要從語(yǔ)言、視覺(jué)、機(jī)器人、推理、交互、理解等討論基石模型的能力，在應(yīng)用方面主要探討醫(yī)療、法律和教育這三個(gè)對(duì)社會(huì)很重要的學(xué)科。
與此同時(shí)，在構(gòu)建基石模型方面，亦出現(xiàn)了幾個(gè)有影響力的工作，拓展了應(yīng)用的邊界。例如：
Copilot：6月，微軟收購(gòu)的GitHub聯(lián)合OpenAI推出首個(gè)AI代碼生成器[6]。該工具基于GPT-3，即Transformer的架構(gòu)，通過(guò)訓(xùn)練從GitHub上爬取數(shù)十億行開(kāi)源代碼和相關(guān)英文注釋?zhuān)瑢?shí)現(xiàn)代碼的自動(dòng)生成，試圖進(jìn)一步輔助程序員的代碼開(kāi)發(fā)。
FLAVA:到年底,Facebook(現(xiàn)稱(chēng)Meta)亦基于Transformer[8]推出FLAVA(A Foundational Language And Vision Alignment Model)，試圖用一個(gè)統(tǒng)一的模型適用于自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、多模態(tài)的不同任務(wù)，論文顯示在此三種領(lǐng)域共計(jì)35個(gè)任務(wù)，都有著出色的表現(xiàn)[8]。該模型利用Vision Transformer(ViT)[9]的方式對(duì)圖像進(jìn)行編碼，BERT[10]的方式對(duì)文本進(jìn)行編碼，并設(shè)計(jì)相應(yīng)的多模態(tài)編碼方式和相應(yīng)的損失函數(shù)，對(duì)模型進(jìn)行訓(xùn)練，并獲得很好的性能。
在學(xué)術(shù)界，對(duì)比學(xué)習(xí)、多模態(tài)多任務(wù)聯(lián)合學(xué)習(xí)，已經(jīng)廣泛使用于基石模型的訓(xùn)練中。但是模型的解釋性和拓展性還有很多的探索空間。
考慮公平和倫理，保證落地的安全和責(zé)任
盡管目前AI技術(shù)在刷臉支付、自動(dòng)駕駛、智能語(yǔ)音、智能安防等應(yīng)用的商業(yè)化探索和落地，已開(kāi)始改變我們的生活模式，并帶來(lái)巨大的便利，AI技術(shù)仍要面對(duì)更多、更復(fù)雜的場(chǎng)景。2021年是AI技術(shù)迫切需要落地的一年。在落地的過(guò)程中，我們經(jīng)常需要面對(duì)如下問(wèn)題：
落地場(chǎng)景是否有好的數(shù)據(jù)？
AI技術(shù)如何更好地降本增效、規(guī)?；蜕虡I(yè)化？
如何保證AI技術(shù)者掌握相關(guān)業(yè)務(wù)知識(shí)，并理解業(yè)務(wù)需求？
而從AI技術(shù)層面看，AI落地的三要素是:算力、算法和數(shù)據(jù)。這就涉及到公平性和倫理的問(wèn)題。特別是，最近幾年數(shù)據(jù)的隱私安全、AI算法的責(zé)任，都成為社會(huì)的關(guān)注熱點(diǎn)。在今年我國(guó)亦出臺(tái)相關(guān)法律從不同層面保障用戶(hù)的隱私和利益，包括
數(shù)據(jù)層面：6月《數(shù)據(jù)安全法》通過(guò)，11月《個(gè)人信息保護(hù)法》開(kāi)始生效，包括2016年通過(guò)的《網(wǎng)絡(luò)安全法》從不同的角度規(guī)范數(shù)據(jù)的使用和保護(hù)用戶(hù)個(gè)人信息。
算法層面：1月頒布了《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》和9月亦印發(fā)《關(guān)于加強(qiáng)信息服務(wù)算法綜合治理的指導(dǎo)意見(jiàn)》的通知，進(jìn)一步加強(qiáng)了互聯(lián)網(wǎng)信息服務(wù)算法安全治理。
倫理規(guī)范：6月28日世衛(wèi)組織亦發(fā)布“衛(wèi)生領(lǐng)域人工智能的倫理和治理”的報(bào)告，提出人工智能為所有國(guó)家的公眾利益服務(wù)的六項(xiàng)原則。9月25日，我國(guó)亦發(fā)布《新一代人工智能倫理規(guī)范》，為從事人工智能相關(guān)活動(dòng)的自然人、法人和其他相關(guān)機(jī)構(gòu)等提供倫理指引。11月25日聯(lián)合國(guó)教科文組織亦舉行新聞發(fā)布會(huì)，介紹該組織正式通過(guò)的首份人工智能倫理問(wèn)題全球性協(xié)議。
AI技術(shù)在落地的過(guò)程，要兼具安全和確定相關(guān)的責(zé)任方，同時(shí)還要顧及公平和倫理。隨著眾多新的法案的出臺(tái)，后續(xù)的落地會(huì)受到更多的監(jiān)管和共同治理，走向“科技向善、AI向善”的道路。
小結(jié)與展望
目前人工智能技術(shù)距離理想的通用人工智能的路還很長(zhǎng)，2021年有更多的大廠試圖構(gòu)建相應(yīng)的基石模型，并把AI技術(shù)拓展到更大的應(yīng)用范圍。
在技術(shù)層面，還需要大量的探索，例如，是否有更好的架構(gòu)替代基于深度神經(jīng)網(wǎng)絡(luò)的架構(gòu)？是否有更快的方式提升計(jì)算性能？大模型如何在實(shí)際場(chǎng)景很好地落地？相關(guān)的技術(shù)，如Neurosymbolic AI、量子計(jì)算都很值得研究。
在應(yīng)用層面，AI跟科學(xué)發(fā)現(xiàn)、AI制藥、AI跟大數(shù)據(jù)應(yīng)用結(jié)合等等，都有很多的機(jī)會(huì)。如何將算法與場(chǎng)景結(jié)合、技術(shù)與產(chǎn)業(yè)融合，是未來(lái)實(shí)現(xiàn)AI落地應(yīng)用必須思考的問(wèn)題。國(guó)內(nèi)已有一些機(jī)構(gòu)或團(tuán)隊(duì)正在探索研產(chǎn)結(jié)合的可能路徑，例如IDEA的CTO Labs合作計(jì)劃，聚集科研人才和產(chǎn)業(yè)科技團(tuán)隊(duì)，共同挖掘產(chǎn)業(yè)痛點(diǎn)，更有效推進(jìn)核心技術(shù)研發(fā)和落地。最近亦與數(shù)說(shuō)故事合作，在數(shù)說(shuō)的產(chǎn)品中提供關(guān)鍵技術(shù)模塊。
關(guān)于作者：
楊海欽現(xiàn)任IDEA的主任研究員和數(shù)說(shuō)故事實(shí)驗(yàn)室負(fù)責(zé)人。博士畢業(yè)于香港中文大學(xué)。曾任教于香港恒生管理學(xué)院，香港中文大學(xué)客座副教授，后就職于美圖(中國(guó))、平安壽險(xiǎn)，負(fù)責(zé)自然語(yǔ)言處理的研究和落地。他在機(jī)器學(xué)習(xí)、自然語(yǔ)言處理等領(lǐng)域已發(fā)表論文60余篇。獲得亞太神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)2018年“年青科學(xué)家獎(jiǎng)”，并入選2009-2019年AI2000經(jīng)典AI(AAAI/IJCAI)全球最具影響力學(xué)者榜單。他亦擔(dān)任過(guò)ICONIP'20程序委員會(huì)主席，AI頂會(huì)等的資深程序委員會(huì)成員或領(lǐng)域主席。”
參考文獻(xiàn)：
[1]William Fedus,Barret Zoph,Noam Shazeer:Switch Transformers:Scaling to Trillion Parameter Models with Simple and Efficient Sparsity.CoRR abs/2101.03961(2021).
[2]Paresh Kharya and Ali Alvi.Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B,the World’s Largest and Most Powerful Generative Language Model.
[3]全球最大智能模型“悟道2.0”重磅發(fā)布.https://hub.baai.ac.cn/view/8375.
[4]2021 IDEA大會(huì)重磅宣布，“封神榜”大模型開(kāi)源計(jì)劃開(kāi)啟——“封神榜”大模型系列宣告開(kāi)源，有多“神”？https://idea.edu.cn/news/20211124222723.html.
[5]Rishi Bommasani,Drew A.Hudson,Ehsan Adeli,et al.:On the Opportunities and Risks of Foundation Models.CoRR abs/2108.07258(2021).
[6]Gershgorn,Dave.GitHub and OpenAI launch a new AI tool that generates its own code.The Verge.29 June 2021[6 July 2021].
[7]Amanpreet Singh,Ronghang Hu,Vedanuj Goswami,Guillaume Couairon,Wojciech Galuba,Marcus Rohrbach,Douwe Kiela:FLAVA:A Foundational Language And Vision Alignment Model.CoRR abs/2112.04482(2021).
[8]Alexey Dosovitskiy,Lucas Beyer,Alexander Kolesnikov,Dirk Weissenborn,Xiaohua Zhai,Thomas Unterthiner,Mostafa Dehghani,Matthias Minderer,Georg Heigold,Sylvain Gelly,Jakob Uszkoreit,Neil Houlsby:An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale.ICLR 2021.
[9]IDEA合作企業(yè)數(shù)說(shuō)故事產(chǎn)品上新攜手推動(dòng)商業(yè)應(yīng)用智能化.
https://zhuanlan.zhihu.com/p/458813386.2022-01-18.
