（1）人工智能適合什么人搞
上學(xué)時(shí)上計(jì)算機(jī)系，是過去數(shù)學(xué)系和自動化系合并成的。學(xué)了一堆不扎實(shí)的數(shù)學(xué)：微積分、線性代數(shù)、概率論、數(shù)理統(tǒng)計(jì)、復(fù)變函數(shù)、離散數(shù)學(xué)等等。也學(xué)了一堆不扎實(shí)的計(jì)算機(jī)：計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、人工智能、數(shù)據(jù)挖掘、數(shù)據(jù)倉庫、數(shù)據(jù)庫、專家系統(tǒng)等等
現(xiàn)在研究人工智能，最后想想，拼的還是基礎(chǔ)數(shù)學(xué)。
（2）人工智能在70年前就開啟了
這人工智能在1955年夏天被麥卡錫定義下來，已經(jīng)快70年了。
一開始干的就是明確規(guī)則的活兒，如定理證明，如下棋。想想90年代人工智能第二次熱潮，IBM的深藍(lán)不就是下象棋么？想想現(xiàn)在第三次人工智能熱潮，不就是2015年DeepMind的AlphaGo下圍棋么？都是明確規(guī)則的活兒。
想想這人工智能一開始發(fā)展就是想搞機(jī)器人。能視覺識別、能語音識別、能語義合成講話、能智能問答和會話交流、能外國人之間機(jī)器自動翻譯來交流。1960年出現(xiàn)的Eliza閑聊機(jī)器人、1972年出現(xiàn)的Parry醫(yī)療問答機(jī)器人就是這樣。所以現(xiàn)在NLP領(lǐng)域的問答與會話任務(wù)，就分為：問答、任務(wù)、閑聊。2014年出來的蘋果Siri和微軟小冰，這三種都在搞，什么能力，現(xiàn)在大家也都明擺著，就這個(gè)水平，這是世界最高工程實(shí)用水平了。這就是發(fā)展了70年了的水平。
所以從一開始，人工智能的范疇就被定義了下來。所以現(xiàn)在人工智能領(lǐng)域包括商務(wù)機(jī)器人、家庭機(jī)器人、工業(yè)機(jī)器人、高溫高寒高救援危機(jī)器狗、無人機(jī)、無人車和智能新能源汽車，我也能理解。如果說人工智能市場容量幾十萬億，那我也只能說是。
（3）第三次人工智能興起：哲學(xué)博士的誤打誤撞：反向傳播
這第三次人工智能熱潮興起，主要是深度學(xué)習(xí)引爆。
深度學(xué)習(xí)的基礎(chǔ)，在1957年就產(chǎn)生了，是羅森布拉特做的神經(jīng)網(wǎng)絡(luò)模型。但是他被人工智能的奠基人明斯基批的一無是處，于是深度學(xué)習(xí)這個(gè)支脈一直少有人搞，即使有人搞也比較邊緣，不能在學(xué)術(shù)圈子主流發(fā)聲。
還是外行人瞎蒙瞎闖才使深度學(xué)習(xí)有了突破。Hinton在英國劍橋大學(xué)獲得的是文學(xué)學(xué)士學(xué)位，主修實(shí)驗(yàn)心理學(xué)，然后又在愛丁堡大學(xué)獲得的是哲學(xué)博士學(xué)位。也許他一直在思考人腦和神經(jīng)網(wǎng)絡(luò)在長相上相似。他誤打誤撞發(fā)明了最有效的反向傳播算法（1986年發(fā)明），后來應(yīng)用到神經(jīng)網(wǎng)絡(luò)上起到了意想不到的效果，這才引起人工智能學(xué)術(shù)界的主流注意。
Hinton寫了一本書《深度學(xué)習(xí)》，是現(xiàn)在第三次人工智能熱潮中人人捧讀的必讀書籍。
（4）人工智能有用嗎？
深度學(xué)習(xí)的原理也很簡單。打個(gè)比方：你把十萬張照片里的貓都圈出來，并且都注明是Cat，然后開始訓(xùn)練計(jì)算機(jī)。訓(xùn)練好后，你再找十萬張帶貓的照片，你不用事前把這后來的十萬張照片里的貓圈出來，但計(jì)算機(jī)就能找到這后來十萬張照片里的貓。這個(gè)照片里找貓的實(shí)驗(yàn)就是吳恩達(dá)做的。
所以你要應(yīng)用深度學(xué)習(xí)，你首先要有海量數(shù)據(jù)，其次還還需要有海量的人把這些海量數(shù)據(jù)圈出來，最后再用海量的算力計(jì)算機(jī)把它訓(xùn)練出來。
所以海量的帶人工標(biāo)注的數(shù)據(jù)、算力，是核心。
你看GTP-3，這就是工程界的暴力美學(xué)：有1.7萬億個(gè)參數(shù)，訓(xùn)練需要上千萬美金。
現(xiàn)在中國各行各業(yè)都流行人工智能，但我想說，海量數(shù)據(jù)在哪里？海量人工在哪里？海量算力在哪里？把模型應(yīng)用到業(yè)務(wù)場景中每天不斷運(yùn)營觀察不斷訓(xùn)練不斷微調(diào)的算法工程師團(tuán)隊(duì)在哪里？這ROI太不劃算了。
而經(jīng)典的人工智能呢？就是90年代以統(tǒng)計(jì)方法為主的第二次人工智能熱潮呢？本質(zhì)上就是專家來加工好規(guī)則、專家加工好語料，根據(jù)概率和統(tǒng)計(jì)計(jì)算，才能做到概率性大的答案填空題和選擇題。但這有用嗎？沒用。
自然語言處理，我圍繞智能多輪問答與會話，又是搞語音識別語音轉(zhuǎn)文本和語音合成，又是機(jī)器閱讀理解、意圖識別、情感分析，又是搞搜索、推薦、表格問答、Wiki問答，又是搞任務(wù)執(zhí)行，又是搞文本自動摘要與文本自動生成，力求不搞預(yù)設(shè)的填空題和選擇題。這還又是添油加醋用知識圖譜、圖神經(jīng)網(wǎng)絡(luò)、知識推理增強(qiáng)。
計(jì)算機(jī)視覺，我還不敢搞人臉、人體、商品識別，這都是四小龍的菜。我就聚焦搞OCR。但OCR領(lǐng)域還是太大，有證照識別、票據(jù)識別、文檔圖像識別、自然場景識別、手寫識別。我只能再聚焦文檔圖像識別。文檔圖像識別里包含四大要素：印刷文字識別、表格識別、公章識別、公式識別。真是聚焦聚焦再聚焦。
（5）上半場的終結(jié)，分類：多模態(tài)、多領(lǐng)域、多場景、多語言
第三次人工智能熱潮有幾個(gè)里程碑的算法和方法。
計(jì)算機(jī)視覺領(lǐng)域：2014年的GAN（生成式對抗網(wǎng)絡(luò)）、2015年的ResNet（殘差網(wǎng)絡(luò)）
自然語言處理領(lǐng)域：2017年的Transformer方法，以及2018年從Transformer衍生出來的BERT。
這三個(gè)東西，經(jīng)過這五六年的發(fā)展，每個(gè)東西都演變出20來個(gè)變形。但是在實(shí)際工程中使用發(fā)現(xiàn)，那些在學(xué)術(shù)實(shí)驗(yàn)室中經(jīng)過精心微調(diào)刷高分的變形算法，還是不如經(jīng)典算法又簡單又效果好。
而且自從到了2020年，連在學(xué)術(shù)實(shí)驗(yàn)室里刷高分都難了，各種招兒都用了，都很難再提升1分了。不外乎在測評數(shù)據(jù)集、測評方法、損失函數(shù)搞搞，在網(wǎng)絡(luò)結(jié)構(gòu)上組合組合、又加了多少層。
所以學(xué)術(shù)界的人這幾年又紛紛回歸到高校，工程界只能剩下暴力美學(xué)，搞大數(shù)據(jù)、大模型、開發(fā)乘手的開源框架和平臺工具。GTP-3、Tensorflow、AutoML平臺（含動態(tài)神經(jīng)網(wǎng)絡(luò)），都是這個(gè)背景下的產(chǎn)物。
現(xiàn)在學(xué)術(shù)界不好刷分了，那在干嘛？只好多模態(tài)交叉融合（視覺、語音、NLP大融合）、算法遷移融合（GAN、Resnet、BERT在視覺、語音、NLP各個(gè)領(lǐng)域都用）、多業(yè)務(wù)應(yīng)用場景融合（比如融合到搜索推薦領(lǐng)域，融合到醫(yī)學(xué)、金融行業(yè)），各種的聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)、對比學(xué)習(xí)、強(qiáng)化學(xué)習(xí)。我相信，2021年學(xué)術(shù)界還是在滿天飛這些Paper。
2021年，我也相信工程界還是暴力美學(xué)。而中國呢，我個(gè)人挺樂觀，肯定是工程界的大豐收，因?yàn)槲乙姷讲簧賵F(tuán)隊(duì)都計(jì)劃在2021年發(fā)布中文大模型、中文大數(shù)據(jù)、中文開源框架工具。過往那些年，英文論文思想挺好、英文算法模型挺好，但就是很難給中國人用上，看了也只能白看，回到現(xiàn)實(shí)中還是只能用老方法。但2021年后，這個(gè)局面會大大改觀一下。
（6）下半場開啟，聚類：少數(shù)據(jù)、少標(biāo)注、少樣本
唉，搞來搞去，脫離不了本質(zhì)的經(jīng)典的貝葉斯分類算法、LSTM（1997年）、隱馬爾可夫（1962年）。還是貝葉斯大神（1761年去世）和馬爾可夫大神（1922年去世）好啊。
現(xiàn)在學(xué)術(shù)界在工程界的暴力美學(xué)的轟炸下一點(diǎn)脾氣都沒有，誰讓自己缺數(shù)據(jù)、缺人工標(biāo)注、缺大算力燒錢呢？所以學(xué)術(shù)界開始在另一條路上探索，那就是：少數(shù)據(jù)、少標(biāo)注、少樣本。
而工程界關(guān)注的卻是如何把大模型裝到小性能的智能手機(jī)上。于是人們一頓的模型壓縮、蒸餾、剪枝等等，就是想如何簡化模型但又不影響模型的效果。
這樣搞搞搞，就逐步走上了：少數(shù)據(jù)、少標(biāo)注、少樣本。來吧來吧，各種半監(jiān)督、自監(jiān)督、弱監(jiān)督、無監(jiān)督，也都朝我來吧。
其實(shí)少數(shù)據(jù)、少標(biāo)注、少樣本也不神秘，大家用的方法歸根到底到數(shù)學(xué)原理其實(shí)也就是經(jīng)典的各種聚類算法。
如果說第三次人工智能熱潮的上半場是分類，那么下半場就是聚類。當(dāng)然，你也別期望聚類就能讓人工智能真的成為你想的那種人工智能。做夢。還不如1930年就流行的運(yùn)籌學(xué)實(shí)用。
