“人工智能技術(shù)的大爆發(fā)，給各行各業(yè)帶來(lái)的巨大的賦能作用，同時(shí)也對(duì)計(jì)算產(chǎn)業(yè)提出了巨大的挑戰(zhàn)，從‘計(jì)算’向‘智算’演進(jìn)，目前面臨多元化、巨量化、生態(tài)化三大挑戰(zhàn)。”中國(guó)工程院院士王恩東在今日舉行的IPF2021浪潮數(shù)據(jù)中心合作伙伴大會(huì)的主題演講中表示。在當(dāng)天的演講中，王恩東對(duì)于當(dāng)前之所以出現(xiàn)的“芯片五花八門”、“AI計(jì)算群雄逐鹿”等產(chǎn)業(yè)現(xiàn)象給出了分析，并認(rèn)為腦機(jī)接口最近取得系列重大進(jìn)展是目前類腦計(jì)算發(fā)展的一大亮點(diǎn)。
腦接接口取得突破進(jìn)展
王恩東首先談及了人類大腦和人工智能大腦以及硅基大腦和碳基大腦發(fā)展的情況。最近，腦機(jī)接口領(lǐng)域有很多突破性進(jìn)展，比如埃隆·馬斯克公布了“腦機(jī)接口”的最近實(shí)驗(yàn)，科學(xué)家在獼猴的大腦皮層中植入了兩顆芯片，捕捉大腦活動(dòng)的信號(hào)，實(shí)現(xiàn)將大腦信號(hào)翻譯成游戲的動(dòng)作，實(shí)現(xiàn)猴子動(dòng)動(dòng)腦子打乒乓球的游戲。
清華大學(xué)施路平教授去年曾經(jīng)說(shuō)：“碳基上能夠?qū)崿F(xiàn)的，硅基上一定能夠?qū)崿F(xiàn)”，而實(shí)際情況也顯示，碳基生物大腦同硅基系統(tǒng)的結(jié)合已經(jīng)不再是科幻小說(shuō)或者科幻電影，而是逐步在形成科學(xué)和技術(shù)上的突破。
目前，類腦計(jì)算是全球的研究熱點(diǎn)，而腦機(jī)接口技術(shù)延展了生物大腦，在中國(guó)2020年人工智能學(xué)會(huì)推選出的自然科學(xué)類五個(gè)應(yīng)用獎(jiǎng)中，兩個(gè)是關(guān)于類腦計(jì)算和腦機(jī)接口。
王恩東表示，人工智能技術(shù)大的爆發(fā)，才剛剛開(kāi)始。目前我們已經(jīng)創(chuàng)造了無(wú)數(shù)的智慧大腦，包括城市大腦、交通大腦、企業(yè)大腦等等?；谌斯ぶ悄芗夹g(shù)，正在給我們的世界帶來(lái)巨大的改變，基于人工智能技術(shù)，可以實(shí)現(xiàn)毫秒級(jí)的精準(zhǔn)識(shí)別，準(zhǔn)確率達(dá)到99%，即使在光線不足的夜晚也可以根據(jù)一個(gè)尾巴和背影能夠識(shí)別出亞洲象，通過(guò)對(duì)野生大象長(zhǎng)期的追蹤和觀測(cè)，為洞察大象物種的習(xí)性，種群的遷移軌跡提供了幫助。從而也能夠?yàn)檫M(jìn)行合理亞洲象國(guó)家公園的規(guī)劃，棲息地改造，食源地的優(yōu)化等這些保護(hù)措施提供了科學(xué)的依據(jù)。2020年中國(guó)農(nóng)業(yè)無(wú)人機(jī)的銷量超過(guò)了1.5萬(wàn)架，一架無(wú)人機(jī)一天農(nóng)業(yè)噴散面積達(dá)到300畝是人工的20倍。無(wú)人機(jī)裝上了病蟲(chóng)害的識(shí)別系統(tǒng)，能夠及時(shí)發(fā)現(xiàn)受病蟲(chóng)害侵蝕的葉子，實(shí)現(xiàn)農(nóng)藥的精準(zhǔn)噴散，減少了農(nóng)業(yè)的使用量。通過(guò)噴散催熟劑可以實(shí)現(xiàn)農(nóng)作物成熟周期的同步，實(shí)現(xiàn)規(guī)?；呐渴崭?，成本大大降低，利潤(rùn)率大幅提升。根據(jù)普華永道的預(yù)測(cè)，到2030年人工智能技術(shù)將為全球GDP帶來(lái)14%的提升，大約16萬(wàn)億美元。
王恩東認(rèn)為，人工智能技術(shù)的大發(fā)展，對(duì)產(chǎn)業(yè)與經(jīng)濟(jì)社會(huì)的巨大賦能作用，與計(jì)算能力的巨大支撐不無(wú)關(guān)系。同樣也對(duì)從“計(jì)算”向“智算”推進(jìn)提出了更多的挑戰(zhàn)和更高的訴求。智慧計(jì)算對(duì)于計(jì)算力的需求指數(shù)級(jí)增長(zhǎng)，在2020年以GPU為代表的AI加速芯片所交付的計(jì)算力已經(jīng)超過(guò)了同類CPU，預(yù)計(jì)到2025年加速芯片所提供的計(jì)算力可能在整個(gè)計(jì)算力交付當(dāng)中超過(guò)80%。
智慧計(jì)算面臨三大挑戰(zhàn)
王恩東認(rèn)為，面對(duì)指數(shù)級(jí)增長(zhǎng)的計(jì)算需求，計(jì)算的技術(shù)、產(chǎn)品、產(chǎn)業(yè)面臨著巨大的挑戰(zhàn)，具體來(lái)說(shuō)體現(xiàn)在以下三個(gè)方面：一是多元化的挑戰(zhàn)。計(jì)算場(chǎng)景的復(fù)雜、計(jì)算架構(gòu)的多元。二是巨量化的挑戰(zhàn)。由巨量模型、巨量數(shù)據(jù)、巨量算力、巨量應(yīng)用所引發(fā)對(duì)現(xiàn)有計(jì)算及體系結(jié)構(gòu)的挑戰(zhàn)。三是生態(tài)化的挑戰(zhàn)?，F(xiàn)在的智算正處于群雄并起的階段，自成體系，生態(tài)離散，產(chǎn)業(yè)鏈上下游脫節(jié)。
一是多元化挑戰(zhàn)。計(jì)算的關(guān)鍵任務(wù)是支撐業(yè)務(wù)的發(fā)展，不同的業(yè)務(wù)類型勢(shì)必要求不同的計(jì)算系統(tǒng)完成，比如針對(duì)傳統(tǒng)的地震波模擬的科學(xué)計(jì)算，對(duì)于數(shù)值精度要求很高，而AI訓(xùn)練則可以適用數(shù)值范圍大、精度相對(duì)低的16位附件類型。對(duì)于AI推理，由于推理要求的速度快、能耗少，則可以更低的數(shù)值精度下處理，像4位、2位甚至1位的整數(shù)類型。
王恩東表示，AI應(yīng)用引入了新的計(jì)算類型，從推理到訓(xùn)練跨度大，同時(shí)數(shù)據(jù)量也從GB到TB、PB不斷提升，數(shù)據(jù)類型從結(jié)構(gòu)化到半結(jié)構(gòu)化、非結(jié)構(gòu)化更加復(fù)雜多樣。而不同數(shù)值精度的計(jì)算類型對(duì)計(jì)算芯片的指令集、架構(gòu)等要求也不一樣，這樣就導(dǎo)致之前一直使用的通用CPU沒(méi)有辦法滿足多元計(jì)算場(chǎng)景的要求，這也是計(jì)算芯片種類越來(lái)越多的重要原因。
芯片種類多的另一個(gè)原因就是芯片代工模式的普及?，F(xiàn)在芯片設(shè)計(jì)、制造等關(guān)鍵環(huán)節(jié)都有開(kāi)源開(kāi)放的軟件、工具包括代工企業(yè)都可以使用。但是芯片從造出來(lái)到大規(guī)模用起來(lái)往往還隔著一個(gè)巨大的生態(tài)鴻溝，芯片應(yīng)用一般都面臨著開(kāi)發(fā)者學(xué)習(xí)成本高、用戶應(yīng)用千疑難、芯片制造公司難以上規(guī)模的困難和挑戰(zhàn)。
人工智能芯片出來(lái)之后，大部分都面臨著面向開(kāi)發(fā)者的幫助文檔、調(diào)試工具、交流回答問(wèn)題的社區(qū)建設(shè)不足，開(kāi)發(fā)者學(xué)習(xí)的時(shí)間長(zhǎng)、難度大，如果學(xué)習(xí)多個(gè)芯片，那這種難更大時(shí)間就更不夠，所以開(kāi)發(fā)者的學(xué)習(xí)積極性就會(huì)下降。
對(duì)于芯片的最終使用者來(lái)說(shuō)，由于芯片的指令集或者芯片架構(gòu)的差異，導(dǎo)致編程庫(kù)、編程模型、算法框架無(wú)法有效地橫向拉通，讓大量應(yīng)用遷移變得困難，可能只是百分之一億的對(duì)原來(lái)的編程環(huán)境小小的依賴就會(huì)導(dǎo)致對(duì)新芯片的適配工作前功盡棄。
“芯片供應(yīng)商如果想解決開(kāi)發(fā)者的問(wèn)題或者是使用者的問(wèn)題，往往需要投入比芯片的研發(fā)成本高數(shù)十倍的投入。以往我們認(rèn)為英特爾就是一個(gè)芯片公司、硬件公司，但其實(shí)在英特爾內(nèi)部有超過(guò)一萬(wàn)人在為芯片的配套支撐、應(yīng)用適配、軟件優(yōu)化做工作。“王恩東說(shuō)，英偉達(dá)公司的CUDA軟件環(huán)境更是通過(guò)長(zhǎng)期的大規(guī)模的投入才打造了支撐了GPU在HPC和AI方面的霸主地位。
第二，巨量化。巨量化首先表現(xiàn)是模型參數(shù)多，訓(xùn)練數(shù)據(jù)量大。以自然語(yǔ)言處理為例，基于此訓(xùn)練模型興起之后，模型精度隨著模型尺寸及訓(xùn)練數(shù)據(jù)的增加顯著提升，在2020年GPT-3模型的參數(shù)量首次突破了千億大關(guān)，達(dá)到了1750億。按照當(dāng)前的發(fā)展趨勢(shì)預(yù)測(cè)，到2023年模型的參數(shù)量會(huì)突破百萬(wàn)億，也就是基本打造人腦的神經(jīng)突出數(shù)量大概是125萬(wàn)億。
巨量模型就需要巨量?jī)?nèi)存，當(dāng)前1塊GPU板載高速內(nèi)存容量大概是40GB，對(duì)于包含百萬(wàn)億參數(shù)的巨量模型，將這些參數(shù)分配到每個(gè)GPU生存當(dāng)中就需要1萬(wàn)塊GPU，考慮到訓(xùn)練當(dāng)中還需要額外的存儲(chǔ)，實(shí)際上就需要2萬(wàn)塊GPU才能夠啟動(dòng)百萬(wàn)億參數(shù)模型的訓(xùn)練。現(xiàn)有AI芯片的架構(gòu)已經(jīng)不足以支撐巨量模型的參數(shù)存儲(chǔ)需求。
同時(shí)，巨量模型依賴海量數(shù)據(jù)的位壓。目前AI算法本質(zhì)上還是依賴量變的質(zhì)變，很難從一個(gè)質(zhì)變跳躍到另外一個(gè)質(zhì)變。例如最新的巨量模型需要萬(wàn)億級(jí)的詞量數(shù)據(jù)，海量數(shù)據(jù)需要海量存儲(chǔ)，在超大規(guī)模集群中同時(shí)滿足幾萬(wàn)個(gè)AI芯片的高精度讀取，存儲(chǔ)系統(tǒng)也是一個(gè)極大挑戰(zhàn)。
巨量化的第二個(gè)表現(xiàn)是計(jì)算力需求的指數(shù)級(jí)增長(zhǎng)。深度學(xué)習(xí)從2011年興起到今天，對(duì)于算力的需求一直是指數(shù)級(jí)增長(zhǎng)，每隔3.4個(gè)月算力需求翻一倍。
就像我們用千瓦時(shí)來(lái)度量用電量，在天文學(xué)里面，以光年為代表來(lái)度量距離，我們以Petaflops-day（簡(jiǎn)稱為PD）來(lái)度量算力，2020年GPT-3需要的算力是3640個(gè)PD。
GPT-3是以處理英文理解任務(wù)為主的，為了滿足不同的語(yǔ)言、不同的場(chǎng)景的精度要求也需要訓(xùn)練不同的巨量模型。如此龐大的計(jì)算力需求給計(jì)算技術(shù)和產(chǎn)業(yè)帶來(lái)了機(jī)遇和巨大的挑戰(zhàn)。解決這樣的挑戰(zhàn)需要從體系結(jié)構(gòu)、系統(tǒng)軟件各個(gè)方面開(kāi)展創(chuàng)新。
到2023年，巨量也就是百萬(wàn)億參數(shù)的這種巨量模型的算力需要百萬(wàn)PD，現(xiàn)在世界上最快的超算是日本的富岳，在這上面完成百萬(wàn)PD的計(jì)算所需要的時(shí)間需要兩年，在不同的領(lǐng)域需要不同類型的巨量的模型。
巨量化的第三個(gè)表現(xiàn)是模型應(yīng)用規(guī)模大，AI的應(yīng)用已經(jīng)滲透到各個(gè)行業(yè)，以互聯(lián)網(wǎng)頭部企業(yè)為例，他們基于自身的已有的AI技術(shù)搭建了開(kāi)放平臺(tái)，在這上面承載著各類AI的基礎(chǔ)能力（語(yǔ)言識(shí)別、圖像識(shí)別、自然語(yǔ)言處理）等等。這些開(kāi)放平臺(tái)已經(jīng)吸引了超百萬(wàn)的AI開(kāi)發(fā)者，開(kāi)發(fā)了各種AI應(yīng)用和服務(wù)，這些AI開(kāi)放平臺(tái)每天承載著數(shù)萬(wàn)億次的交用量、數(shù)百萬(wàn)小時(shí)的語(yǔ)音識(shí)別、超過(guò)百億張圖像社別、超過(guò)萬(wàn)億句自然語(yǔ)言的理解。如此巨量的調(diào)用對(duì)計(jì)算中心的算力、應(yīng)用是能力產(chǎn)生了極大的挑戰(zhàn)。
第三，生態(tài)化。AI技術(shù)鏈條和產(chǎn)業(yè)鏈條面臨脫節(jié)的問(wèn)題。很多人可能會(huì)問(wèn)一個(gè)問(wèn)題，大家都說(shuō)人工智能好，但是這個(gè)東西與現(xiàn)在的業(yè)務(wù)、與客戶的應(yīng)用場(chǎng)景怎么結(jié)合，用戶沒(méi)有人懂算法和模型，也缺少好的AI開(kāi)發(fā)平臺(tái)，同時(shí)那么多的算法、模型如何與應(yīng)用進(jìn)行最優(yōu)組合等等。懂AI算法與模型的人往往是集中在科研機(jī)構(gòu)或者頭部企業(yè)，但缺少對(duì)傳統(tǒng)行業(yè)的需求場(chǎng)景、業(yè)務(wù)規(guī)律的深入理解，也拿不到最關(guān)鍵的業(yè)務(wù)數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，這就導(dǎo)致技術(shù)無(wú)用武之地。
埃森哲等咨詢機(jī)構(gòu)的調(diào)查報(bào)告也表明了這個(gè)問(wèn)題，70%以上有技術(shù)的研究機(jī)構(gòu)和科技公司缺少需求場(chǎng)景、領(lǐng)域知識(shí)和數(shù)據(jù)，70%以上的行業(yè)用戶則缺少技術(shù)人才、AI平臺(tái)和實(shí)踐能力。
“計(jì)算技術(shù)與產(chǎn)業(yè)生態(tài)是離散化，這與我們講的多元化的挑戰(zhàn)是相呼應(yīng)的，芯片架構(gòu)五花八門，指令集不同無(wú)法兼容，而面向芯片的編程庫(kù)等等又更芯片緊密綁定，靈活性差。小公司只做了一個(gè)環(huán)節(jié)，這就造成生態(tài)的縱向不通；大公司則希望構(gòu)建封閉系統(tǒng)，就造成了生態(tài)橫向不通。這些都嚴(yán)重制約了AI技術(shù)的應(yīng)用和發(fā)展。”王恩東說(shuō)。
王恩東進(jìn)一步表示，通過(guò)這些分析我們可以看到，一方面智算需求蓬勃發(fā)展是重大的機(jī)遇，另一方面是多元化、巨量化、生態(tài)化的挑戰(zhàn)和困難亟需解決，面向新的需求機(jī)遇，迎接新的挑戰(zhàn)，應(yīng)該說(shuō)計(jì)算技術(shù)和產(chǎn)業(yè)需要構(gòu)建一個(gè)新的發(fā)展格局。
產(chǎn)業(yè)攜手加速破解三大難題
那么如何來(lái)轉(zhuǎn)型構(gòu)建新的智能產(chǎn)業(yè)的發(fā)展新格局，關(guān)于如何應(yīng)對(duì)多元化的挑戰(zhàn)，王恩東表示，首先要?jiǎng)?chuàng)新智算體系結(jié)構(gòu)，要從硬件重構(gòu)、軟件定義兩個(gè)方面引領(lǐng)智算技術(shù)的體系創(chuàng)新。
王恩東以浪潮的融合架構(gòu)3.0為例，是通過(guò)片內(nèi)大容量的緩存，片外高帶寬內(nèi)存等存算一體方式實(shí)現(xiàn)計(jì)算數(shù)據(jù)結(jié)合，突破存儲(chǔ)墻。通過(guò)高速互聯(lián)交換網(wǎng)絡(luò)支持更廣泛的多元異構(gòu)計(jì)算，支持新型存儲(chǔ)資源置換，提高性能降低功耗，實(shí)現(xiàn)更大規(guī)模的資源可擴(kuò)展。進(jìn)一步通過(guò)在互聯(lián)處理單元中卸載控制平面，實(shí)現(xiàn)控制和計(jì)算的分離，進(jìn)而打造更為靈活資源的可重構(gòu)。在系統(tǒng)軟件創(chuàng)新方面，可以重構(gòu)的硬件資源集組織，通過(guò)軟件定義的方式實(shí)現(xiàn)控制層和基礎(chǔ)設(shè)施的分離，統(tǒng)一資源組織模型，標(biāo)準(zhǔn)化可編程結(jié)構(gòu)，形成軟件定義計(jì)算、軟件定義存儲(chǔ)、軟件定義網(wǎng)絡(luò)。通過(guò)微服務(wù)化實(shí)現(xiàn)集中管理平臺(tái)的高可用和高擴(kuò)展。此外，也可以往底層延伸，基于不同的場(chǎng)景來(lái)開(kāi)發(fā)定制化的AI加速、網(wǎng)絡(luò)加速、存儲(chǔ)加速產(chǎn)品，最終形成覆蓋芯片板卡、系統(tǒng)平臺(tái)和算法的領(lǐng)先的產(chǎn)品體系，在加速芯片和板卡方面，芯片多元化應(yīng)該既是挑戰(zhàn)也是應(yīng)對(duì)當(dāng)前算力需求復(fù)雜多樣的手段。
而面對(duì)算法巨量化的挑戰(zhàn)，王恩東認(rèn)為可以通過(guò)構(gòu)建智算中心以服務(wù)化的方式來(lái)為產(chǎn)業(yè)提供服務(wù)，面對(duì)各行各業(yè)以及各類不同的AI算法公司，社會(huì)需要AI算力的基礎(chǔ)設(shè)施，通過(guò)構(gòu)建“智算中心”能夠加速解決巨量化的挑戰(zhàn)。一個(gè)例子是江蘇省建設(shè)的智算中心，今年年初江蘇按照《智能計(jì)算中心規(guī)劃建設(shè)指南》，在南京投資建設(shè)了智算中心，由寒武紀(jì)和浪潮聯(lián)合承建目前已經(jīng)投入運(yùn)營(yíng)使用。這個(gè)智算中心對(duì)外可以提供的算力達(dá)到了每秒百億億/次，采用了最先進(jìn)的AI處理芯片和AI計(jì)算平臺(tái)，該中心可以為區(qū)域的公共算力服務(wù)、創(chuàng)新應(yīng)用孵化、產(chǎn)業(yè)聚集發(fā)展、科研創(chuàng)新和人才培養(yǎng)提供助力和支撐。
最后王恩東表示，AI產(chǎn)業(yè)化是一個(gè)千億級(jí)的市場(chǎng)，產(chǎn)業(yè)AI化是一個(gè)萬(wàn)億級(jí)的市場(chǎng)，無(wú)論AI產(chǎn)業(yè)化還是產(chǎn)業(yè)AI化，產(chǎn)業(yè)鏈的拉通和生態(tài)的建設(shè)都是必須的，在AI產(chǎn)業(yè)化的過(guò)程當(dāng)中，浪潮推動(dòng)元腦計(jì)劃，希望構(gòu)建一個(gè)開(kāi)放的AI生態(tài)，也希望更多的廠商加入到推動(dòng)AI生態(tài)化發(fā)展的進(jìn)程當(dāng)中。
