日前,為期3天的2020全國高性能計算學術年會(HPC China 2020)在鄭州舉行。中國工程院副院長、中國工程院院士陳左寧作題為《人工智能進展對算力需求分析》的報告。陳左寧提出人工智能模型和算法的7大發(fā)展趨勢,并對AI趨勢對算力的需求進行分析和預測,她表示,未來人工智能將向“自學習、自演化”方向發(fā)展。
人工智能將向無監(jiān)督的方向發(fā)展。人工智能需要適應“小數據”、減少標注需求、減少計算開銷?,F在用的比較多的是主動學習,即算法主動提出標注請求,將一些經過篩選的數據提交給專家標注。遷移學習即增強訓練好的模型,解決目標領域中僅有少量有標簽樣本數據的問題。強化學習即用agents構成系統(tǒng)來描述行為并給予評價和反饋學習。從主動學習到遷移學習再到強化學習,需要的能力也由“人機交互能力、數據整合能力”到“大算力預訓練、數據處理能力”再到“信息采集能力、概率計算能力”不斷演化。
未來人工智能的可解釋(XAI)越來越重要。首先,深度學習進一步設計算法和參數,提高泛化能力,需要模型算法可解釋。對抗樣本如果導致模型失效,那訓練數據將不合理地被局部放大。另外,模型愈復雜,越容易失去可調式性和透明性。人工智能模型有透明模型和事后可解釋模式,無論是哪一個模型,他們都有對算力的需求,具體需求是需要我們將可解釋技術融入軟件環(huán)境中,為現有軟件框架增加可解釋技術接口;第二個需求是將人-AI系統(tǒng)結合。以人為中心,把人對事情的解釋跟整個模型融合在一起。
智能模型的自學習、自演化能力加強。從自動機器學習(Au‐toML)到限制約束條件的Au‐toML再到不設初始條件,搜索空間極大豐富的自演化AutoML,人工智能模型的自學習、自演化需要我們提供計算框架支撐、大算力支撐、輔助設備支撐。
人工智能將促進多種算法、模型的有機組合。這個趨勢目前已經非常明顯了,目前單一的算法或模型難以解決實際問題,經過分析,我們可以把多種模型有機結合起來,另外,人工智能模型的發(fā)展希望融入多種技術來解決已有問題。當然,人工智能的應用流程越來越復雜,所以,不同流程所涉及的環(huán)境也多樣化,這就需要不同的算法和模型的組合,需要計算存儲等可擴展能力和基礎軟件能力提升,支持復雜模型。
人工智能應用需要關注生命周期。從設計到數據預處理,建立、訓練、優(yōu)化模型,部署、推理,保持和更新,數據積累,準備,訓練,得到推理結果等這些全周期不同任務具有不同的時間、空間和計算需求,全生命周期都要考慮可解釋、公平性需求。
分布式、分散式的需求越來越突出。首先,大型、復雜模型,海量數據需要并行、分布式計算;其次,聯邦學習等分散場景需要分布式ML原生算法。因此這就需要大算力、原生支持分散場景,而并行的、分散的人工智能模型算法本身的需求越來越突出。
深度推理能力將得到逐步加強。清華大學唐杰老師認為,從計算、感知、認知到意識,對算力的需求,從最初的計算存儲、輸入輸出,到語音圖像等識別,再到認知推理、自學習、頓悟等,反映出對計算需求的演進。如何應對多種形式的不確定性是目前的一大難題。比如從環(huán)境中感知的信息、知識的情景特異性、缺乏完全解釋自然現象的完整理論、計算的有限合理性等。我們可以從以下三個方面有效應對多種形式的不確定性,如概率計算,類腦、仿腦體系結構、模擬計算。
總結下來,人工智能對算力的需求有如下特點:關系和概率計算更加突出,同時不要求高精度、不要求高容錯,在節(jié)點上簡單了;人在環(huán)路中的需求非常明顯。這些特點可能隨著人工智能的發(fā)展不斷發(fā)展。