什么是機器學(xué)習(xí)，什么是人工智能，什么是深度學(xué)習(xí)，這些名詞概念我們一直有聽說，但是也很容易混淆
人工智能
人工智能技術(shù)希望使用計算機來構(gòu)造復(fù)雜的、擁有與人類智慧同樣本質(zhì)特性的機器，這些能夠代替人工工作的機器，算法等等統(tǒng)一稱之為人工智能，人工智能是一個很大的范疇，隨著計算機技術(shù)的不斷發(fā)展，人工智能的研究領(lǐng)域也在不斷擴大，下圖展示了人工智能研究的各個分支，包括專家系統(tǒng)、機器學(xué)習(xí)、進化計算、模糊邏輯、計算機視覺、自然語言處理、推薦系統(tǒng)等。
人工智能
機器學(xué)習(xí)：一種實現(xiàn)人工智能的方法
機器學(xué)習(xí)最基本的做法，是使用算法來解析數(shù)據(jù)、從中學(xué)習(xí)，然后對真實世界中的事件做出決策和預(yù)測。與傳統(tǒng)的為解決特定任務(wù)、硬編碼的軟件程序不同，機器學(xué)習(xí)是用大量的數(shù)據(jù)來“訓(xùn)練”，通過各種算法從數(shù)據(jù)中學(xué)習(xí)如何完成任務(wù)。
深度學(xué)習(xí)，一種實現(xiàn)機器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)方法
一個例子在計算機視覺領(lǐng)域中，若識別一只熊貓，機器學(xué)習(xí)的方法是告訴機器熊貓的各種特征，比如鼻子，眼睛，嘴巴，毛發(fā)等等特征，讓機器認(rèn)識到擁有這些特征的便是一只熊貓
然而深度學(xué)習(xí)的方法是給機器一張圖片，讓機器自己去提取特征，進而預(yù)測出是否是熊貓，若預(yù)測失敗，神經(jīng)網(wǎng)絡(luò)通過前向傳遞，告訴神經(jīng)網(wǎng)絡(luò)哪里出現(xiàn)了錯誤，重新進行識別，直到識別正確為止，最著名的便是這幾年大火的CNN卷積神經(jīng)網(wǎng)絡(luò)，包括計算機識別，自然語言處理，專家系統(tǒng)，推薦系統(tǒng)等等，都或多或少利用了CNN卷積神經(jīng)網(wǎng)絡(luò)的知識
總結(jié)下圖，便很好的解釋了三者之間的關(guān)系，隨著計算機算法的不斷改進，深度學(xué)習(xí)越來越受到人工智能領(lǐng)域的贊賞。
AI的核心目標(biāo)是提供一組算法和技術(shù)，可用于解決人類憑直覺就能自動執(zhí)行，但對計算機而言非常具有挑戰(zhàn)性的問題。這類人工智能問題的一個很好的例子是解釋和理解圖像的內(nèi)容——這項任務(wù)是人類可以毫不費力地完成的任務(wù)，但事實證明，機器很難完成。
人工神經(jīng)網(wǎng)絡(luò)(ANN)是一類機器學(xué)習(xí)算法，它從數(shù)據(jù)中學(xué)習(xí)并專注于模型識別，其靈感來自大腦的結(jié)構(gòu)和功能。深度學(xué)習(xí)是人工智能的一個子集，我們重點學(xué)習(xí)深度學(xué)習(xí)。
神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的簡明歷史
“深度學(xué)習(xí)”自1940年代以來就已經(jīng)存在，并經(jīng)歷了各種名稱更改，包括控制論、連接主義和最熟悉的人工神經(jīng)網(wǎng)絡(luò)(ANN)。雖然受到人類大腦及其神經(jīng)元如何相互作用的啟發(fā)，但人工神經(jīng)網(wǎng)絡(luò)并不意味著是大腦的現(xiàn)實模型。相反，它們是一種靈感，使我們能夠在一個非?；镜拇竽X模型與我們?nèi)绾瓮ㄟ^人工神經(jīng)網(wǎng)絡(luò)模仿其中一些行為之間進行比較。
第一個神經(jīng)網(wǎng)絡(luò)模型來自McCulloch和Pitts于1943年。這個網(wǎng)絡(luò)是一個二元分類器，能夠根據(jù)一些輸入識別兩個不同的類別。問題是用于確定給定輸入的類標(biāo)簽的權(quán)重需要由人工手動調(diào)整——如果需要人工干預(yù)，這種類型的模型顯然不能很好地擴展。
然后，在1950年代，Rosenblatt（1958年，1962年）發(fā)布了開創(chuàng)性的感知器算法——該模型可以自動學(xué)習(xí)對輸入進行分類所需的權(quán)重（無需人工干預(yù)）。感知器架構(gòu)的一個例子可以在下圖中看到。事實上，這種自動訓(xùn)練過程構(gòu)成了隨機梯度下降(SGD)的基礎(chǔ)，如今它仍然用于訓(xùn)練非常深的神經(jīng)網(wǎng)絡(luò)。
感知器算法
一個簡單的感知器網(wǎng)絡(luò)架構(gòu)示例，它接受多個輸入、計算加權(quán)和并應(yīng)用階躍函數(shù)來獲得最終預(yù)測。
在此期間，基于感知器的技術(shù)在神經(jīng)網(wǎng)絡(luò)社區(qū)風(fēng)靡一時。然而，Minsky和?Papert于1969年發(fā)表的一篇論文有效地使神經(jīng)網(wǎng)絡(luò)研究停滯了近十年。他們的工作表明，具有線性激活函數(shù)（無論深度如何）的感知器只是一個線性分類器，無法解決非線性問題。非線性問題的典型示例是下圖中的XOR數(shù)據(jù)集。嘗試一條直線來將藍(lán)色星星與紅色圓圈分開是不可能的。
XOR數(shù)據(jù)集
此外，作者認(rèn)為我們沒有構(gòu)建大型深度神經(jīng)網(wǎng)絡(luò)所需的計算資源，僅這一篇論文就幾乎扼殺了神經(jīng)網(wǎng)絡(luò)研究。
幸運的是，反向傳播算法被Werbos、Rumelhart和LeCun等人提出。能夠使神經(jīng)網(wǎng)絡(luò)從可能已經(jīng)過早死亡的情況中復(fù)蘇。他們在反向傳播算法方面的研究使多層前饋神經(jīng)網(wǎng)絡(luò)得以訓(xùn)練。
反向傳播算法
一個多層前饋網(wǎng)絡(luò)架構(gòu)，具有一個輸入層（3個節(jié)點）、兩個隱藏層（第一層有2個節(jié)點，第二層有3個節(jié)點）和一個輸出層（2個節(jié)點）。
結(jié)合非線性激活函數(shù)，研究人員現(xiàn)在可以學(xué)習(xí)非線性函數(shù)并解決XOR問題，為神經(jīng)網(wǎng)絡(luò)的全新研究領(lǐng)域打開大門。進一步的研究表明，神經(jīng)網(wǎng)絡(luò)是通用逼近器，能夠逼近任何連續(xù)函數(shù)（但不保證網(wǎng)絡(luò)是否能夠真正學(xué)習(xí)表示函數(shù)所需的參數(shù)）。
反向傳播算法是現(xiàn)代神經(jīng)網(wǎng)絡(luò)的基石，使我們能夠有效地訓(xùn)練神經(jīng)網(wǎng)絡(luò)并“教”它們從錯誤中學(xué)習(xí)。
也許將深度學(xué)習(xí)應(yīng)用于特征學(xué)習(xí)的典型例子是應(yīng)用于手寫字符識別的卷積神經(jīng)網(wǎng)絡(luò)(LeCun)，它通過在每個圖像的頂部依次堆疊層來自動從圖像中學(xué)習(xí)區(qū)分模式（稱為“過濾器”）。網(wǎng)絡(luò)較低層的過濾器表示邊和角，而較高層的層使用邊和角來學(xué)習(xí)更多用于區(qū)分圖像類別的抽象概念。
LeCun在貝爾實驗室工作期間開發(fā)了一套能夠識別手寫數(shù)字的系統(tǒng)，并把它命名為LeNet?；蛟S你沒聽過LeNet，但是當(dāng)年美國大多數(shù)銀行就是用它來識別支票上面的手寫數(shù)字的。能夠達(dá)到這種商用的地步，它的準(zhǔn)確性可想而知。那么LeNet究竟是什么呢？LeNet是一種典型的用來識別手寫數(shù)字的卷積神經(jīng)網(wǎng)絡(luò)。自動識別銀行支票，這是卷積神經(jīng)網(wǎng)絡(luò)第一次應(yīng)用于解決實際問題。最著名的MNIST數(shù)據(jù)集便是此神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集
MNIST
神經(jīng)網(wǎng)絡(luò)發(fā)展到這里，便成功了打開了深度學(xué)習(xí)的大門，隨著近幾年的大力發(fā)展，不同的計算機算法，特別是CNN卷積神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，慢慢壯大了深度學(xué)習(xí)的發(fā)展
深度學(xué)習(xí)的主要幾個方向
計算機視覺是深度學(xué)習(xí)的第一個應(yīng)用到商業(yè)用途的深度學(xué)習(xí)應(yīng)用，說得白一點，計算機視覺便是使用神經(jīng)網(wǎng)絡(luò)模仿人看的功能，包括人臉識別與人臉檢測以及相關(guān)人臉方面的應(yīng)用，如下我們的專欄也介紹了相關(guān)人臉方面的技術(shù)
計算機視覺的另外一個應(yīng)用，目標(biāo)檢測與目標(biāo)追蹤，當(dāng)我們看美國大片時，通過攝像頭進行目標(biāo)的識別檢測，并實時進行追蹤，雖然科幻大片的場景設(shè)計的比較科幻，但是目標(biāo)追蹤技術(shù)也逐漸成熟，如下我們的專欄分享了部分目標(biāo)追蹤的技術(shù)
計算機視覺的其他應(yīng)用，包括手機行業(yè)比較熱門的AI成像技術(shù)，AR,VR虛擬現(xiàn)實技術(shù)，人體姿態(tài)檢測，人手檢測，影視技術(shù)處理等等
隨著計算機視覺技術(shù)的不斷發(fā)展，其計算機視覺不僅僅是告訴計算機如何看的技術(shù)，更多的是改善看的技術(shù)
深度學(xué)習(xí)的其他方向，自然語言處理
自然語言處理(Natural Language Processing,NLP)是計算機科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。它研究能實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理是一門融語言學(xué)、計算機科學(xué)、數(shù)學(xué)于一體的科學(xué)。因此，這一領(lǐng)域的研究將涉及自然語言，即人們?nèi)粘Ｊ褂玫恼Z言，所以它與語言學(xué)的研究有著密切的聯(lián)系，但又有重要的區(qū)別。說的白一點，自然語言處理便是告訴機器如何聽說的技術(shù)，包含首手機行業(yè)的智能語音助手，智能音箱，智能家居等等
深度學(xué)習(xí)的其他方向，推薦系統(tǒng)
推薦系統(tǒng)我們在生活中都有接觸到，特別是我們在使用頭條，抖音，購物平臺等產(chǎn)品時，我們點贊的視頻，看過的文章，購買記錄等等，都成為了推薦系統(tǒng)學(xué)習(xí)的數(shù)據(jù)，進而給我們推薦更多符合我們預(yù)期的視頻文章等等
推薦系統(tǒng)
當(dāng)然深度學(xué)習(xí)還有很多應(yīng)用，我們后期會慢慢分享其中深度學(xué)習(xí)的具體例子與深度學(xué)習(xí)中的不同概念。
