大數據和GPU計算是深度學習的兩個核心要素，但是否會，成也大數據敗也大數據？有不少研究學者表示出了擔憂，Hinton在膠囊網絡研究中就提出了這一問題，對深度學習過分依賴大量的標注樣本表示擔憂。
深度網絡越復雜，需要的訓練數據和計算資源就越多。Google動則數百億參數的深度學習網絡，需要幾百GPU訓練數周時間，對一般的機構來講是難以想象的，要運行這樣的智能系統(tǒng)面臨巨大的成本壓力。
再者，如AlphaGo這樣的AI系統(tǒng)，需要海量的棋譜樣本進行訓練，在很多傳統(tǒng)領域也沒有這個大數據樣本條件，所以才有了升級版的自我博弈式隨機生成海量棋譜。另外就是效率，人的學習基于很小樣本就足夠了，教會幼兒認識一個蘋果就只需要一個蘋果，而不是需要數千、數萬張各種各樣蘋果的圖片，深度學習要真正實現(xiàn)智能，如何突破大數據效率瓶頸，也是需要進一步研究的內容。
最后就是大型深度神經網絡的調參問題，即使是Google宣稱的，基于AutoML（自動機器學習）管道可以自動找到最優(yōu)深度網絡配置，但卻依賴非常昂貴的計算資源進行超參數搜索、調優(yōu)和測試。深度學習面臨的大數據、大模型和大計算資源挑戰(zhàn)，還需要研究人員的進一步努力。
總之，深度學習之路任重道遠，充滿了希望和挑戰(zhàn)。就像人類造出飛機實現(xiàn)翱翔天空的夢想，飛機并不是飛鳥的完全復制版，同樣深度智能可以借鑒人腦智能，但肯定也不會是人腦的復制。基于符號派AI的知識系統(tǒng)和大數據驅動的深度學習、強化學習等如何融合發(fā)展，將是通往強人工智能的關鍵架構。
一般來講，深度學習被認為是機器學習工具箱中的一類模型，深度學習屬于機器學習的一個分支。但Kaparthy對深度學習卻有另一種解讀，他認為深度學習代表了軟件2.0，軟件1.0是我們最熟悉的信息系統(tǒng)開發(fā)方式，基于高級程序設計語言，如Python、C++等，由程序員編寫的計算機指令組成，程序員通過編寫每行代碼，來實現(xiàn)一些預期的行為。相比而言，軟件2.0不需要太多手工編寫的計算機指令來實現(xiàn)，基于海量的神經網絡權重（典型的深度神經網絡權重參數可能有數百萬）學習就可以解決很多問題。
軟件2.0只需要設定一個預期的程序目標，來用于目標空間的搜索，當然這個搜索過程需要大量的計算資源支持。
顯然這類智能系統(tǒng)與傳統(tǒng)的軟件系統(tǒng)有很大差異，雖然其核心都需要計算和存儲資源的支持，更重要的是基于深度學習的軟件2.0系統(tǒng)具有能夠從數據中進行歸納學習的能力，而這種能力不是基于傳統(tǒng)的手動編程來實現(xiàn)的，而是直接基于深度架構的神經網絡來實現(xiàn)的。IT從業(yè)者特別是數據科學家需要重視這個提法?？赡苄枰欢螘r間，軟件2.0才能真正走向成熟，但其代表的趨勢和對傳統(tǒng)軟件工業(yè)的挑戰(zhàn)值得深思。
