大數(shù)據(jù)應(yīng)用推動了“讓內(nèi)存更接近計算資源”的架構(gòu)需求,而人工智能和機器學習則進一步證明了硬件和硬件架構(gòu)在成功部署中發(fā)揮的關(guān)鍵作用。不過有一個關(guān)鍵問題——數(shù)據(jù)處理應(yīng)該在哪里進行。
在Forrester Research近期的一項調(diào)查中,有89%的受訪者表示,計算和內(nèi)存在架構(gòu)上緊密相連是至關(guān)重要的。這項調(diào)研由美光(Micron Technology)公司委托,調(diào)查結(jié)果中還發(fā)現(xiàn),內(nèi)存和存儲是如今限制人工智能和機器學習發(fā)展的非常重要的因素。此外,還有超過75%的受訪者指出,他們需要升級或重新構(gòu)建內(nèi)存和存儲架構(gòu)以打破這種局限性。
因為機器學習能夠通過神經(jīng)網(wǎng)絡(luò)對龐大的數(shù)據(jù)矩陣進行多次累積操作,這使得大數(shù)據(jù)及其分析過程中的很多問題得以解決。同時,隨著更多結(jié)果的產(chǎn)生,這樣的操作還會反復進行,以生成最佳路徑和最佳選擇的算法,并且這些算法都是通過處理數(shù)據(jù)進行反復學習的。
美光公司企業(yè)戰(zhàn)略副總裁Colm Lysaght表示,因為數(shù)據(jù)量非常大,所以解決內(nèi)存問題的常見方案就是增加更多的DRAM(Dynamic Random Access Memory),即動態(tài)隨機存取存儲器。這是最為常見的系統(tǒng)內(nèi)存,能夠?qū)⑿阅芷款i從原始計算轉(zhuǎn)移到數(shù)據(jù)所在的位置。“內(nèi)存和存儲就是數(shù)據(jù)所在的地方。我們必須把數(shù)據(jù)帶入CPU,然后再返回,如此反復。因為這些龐大的數(shù)據(jù)集都需要被處理。”
Lysaght說,如果能夠讓計算和內(nèi)存更緊密地結(jié)合在一起,就意味著可以節(jié)省更多電力能源,因為在內(nèi)存和計算之間就不需要往返太多次。“這會提高性能,因為數(shù)據(jù)處理直接發(fā)生在它所在的位置。”
▲美光認為,現(xiàn)有內(nèi)存和存儲技術(shù)(例如DRAM和3D NAND SSD)為人工智能架構(gòu)提供了硬件,同時美光也在研究更新的技術(shù)(如內(nèi)存處理器架構(gòu))以支持更多初創(chuàng)公司
在Lysaght看來,有很多不同的方法都可以打造出更好的架構(gòu)。拿神經(jīng)形態(tài)處理器舉例,它在內(nèi)部使用神經(jīng)網(wǎng)絡(luò),并將內(nèi)部核心數(shù)據(jù)分解為更多的較小顆粒。“因為要對大量的數(shù)據(jù)要進行處理,所以讓更多的核心反復執(zhí)行相對簡單的操作是一種更好的解決方案,”Lysaght說。
最近,內(nèi)存公司Crossbar與Gyrfalcon Technology、mtes Neural Networks(mtesNN)、RoboSensing等公司一起,打造了一個致力于提供加速、節(jié)能型人工智能平臺的聯(lián)盟——SCAiLE(用于邊緣學習的SCABLE AI)。該聯(lián)盟將結(jié)合先進的加速硬件、電阻式RAM(ReRAM)和優(yōu)化神經(jīng)網(wǎng)絡(luò),打造就緒的低功耗解決方案,使得整個過程無需進行監(jiān)督學習。
Crossbar公司戰(zhàn)略營銷和業(yè)務(wù)開發(fā)副總裁Sylvain Dubois表示,目前很多企業(yè)面臨的挑戰(zhàn)是,他們既希望在設(shè)備上采用人工智能,但是又不知道該怎么做,無論是智能揚聲器、智能攝像頭還是智能電視。而該聯(lián)盟的目標,就是提供一個將所有必要部分組合在一起的平臺。
Crossbar的主要貢獻在于內(nèi)存(特別是ReRAM),它將通過各種輸入處理機器學習系統(tǒng)中的數(shù)據(jù),包括文本、關(guān)鍵字、GPS坐標、傳感器可視數(shù)據(jù)等大量非結(jié)構(gòu)化數(shù)據(jù)。
Dubois設(shè)想了一種存儲器陣列,它的架構(gòu)能夠以非常寬且高度并行的方式由實例中的每一個特定處理代碼讀取,實現(xiàn)在邊緣設(shè)備中并行讀取一千個字節(jié)。“如果匹配了,你就會知道該怎么做。如果沒有匹配,那么這就是我們所說的學習曲率。”Dubois說。
例如,對攝像頭傳感器來說,該系統(tǒng)將能夠在ReRAM陣列備用位置保存新事件或一組功能。“下次當有類似事件在這個攝像頭前發(fā)生的時候,攝像頭本身就能夠在沒有任何訓練的情況下檢測到該事件。”Dubois舉例說。
這提供了一種完全不同的人工智能計算方式,因為如果出現(xiàn)需要快速決策的意外事件(例如關(guān)注安全性的交通場景)時,它就不再需要依賴于云中的訓練能力,而能夠在當下快速處理。
Forrester Research的這項研究表明,有越來越多的企業(yè)將在公有云和邊緣位置進行數(shù)據(jù)分析,從而在邊緣完成更多的機器學習能力。有51%的受訪者表示,他們正在公有云中運行分析,預計未來三年這一比例將增加到61%。此外,有44%的人已經(jīng)在邊緣設(shè)備中進行數(shù)據(jù)分析,預測到2021年這一比例將增長到53%。
Forrester基礎(chǔ)設(shè)施和運營高級分析師Chris Gardner對于硬件的重要性感到驚訝,特別是存儲和內(nèi)存。他表示,一個非常重要的研究結(jié)果是,有大量工作是脫離了存儲在內(nèi)存本身進行的。但值得注意的是,這取決于你的需求是什么。根據(jù)Gardner的說法,訓練模型需要大量的內(nèi)存和存儲空間。除外之外,你根本不需要任何東西。
▲Crossbar最近成立了一個打造人工智能平臺的聯(lián)盟,提供針對人工智能應(yīng)用的內(nèi)存產(chǎn)品,例如帶有嵌入式ReRAM的P系列MCU
Gardner說,在完美的情況下,企業(yè)希望擁有一個數(shù)百GB的RAM大型環(huán)境。但實際上,他們不得不自己構(gòu)建或者付費讓供應(yīng)商來實現(xiàn),而且這需要的是硬件方面的轉(zhuǎn)變。“我們需要更多以內(nèi)存為中心的架構(gòu),讓計算圍繞內(nèi)存以及存儲來進行,而不是讓計算本身成為中心。“這并不是說當前的計算架構(gòu)很糟糕,但這可能并不是做人工智能和機器學習最有效的方式。”Gardner表示。
此外,Gardner還提到了邊緣計算,有一個場景是某個舉行大型體育賽事的體育場內(nèi)安裝了很多攝像頭,這些攝像頭實時產(chǎn)生了大量需要快速處理的數(shù)據(jù),以確定是否存在危險情況。“他們可以把這些數(shù)據(jù)發(fā)送到云端并返回,但是他們沒有時間去這么做,因為他們必須盡快處理這些數(shù)據(jù)。”
未來還將有一些機器學習是在云中進行的,然后返回到物聯(lián)網(wǎng)設(shè)備,但是其中一些設(shè)備將變得越來越智能化,并且可以自主地進行機器學習,共享回云端以及其他設(shè)備。對于內(nèi)存制造商來說,這意味著商用組件制造商要持續(xù)進行轉(zhuǎn)型,而且要重新編譯應(yīng)用以利用人工智能和機器學習工作負載所需的、以內(nèi)存為中心的架構(gòu)。但是現(xiàn)在這些技術(shù)還處于實驗階段,還沒有一個真正的采用內(nèi)存為中心、在實驗環(huán)境之外有很多延遲表現(xiàn)的架構(gòu)。
Gardner說:“幾十年來我們一直是用以CPU為中心的心態(tài)去構(gòu)建架構(gòu),而想要擺脫這種想法是非常具有革命性的。”
對此,去年秋天美光還宣布投資1億美元用于人工智能,并在實驗室中打造了一個類似DRAM的產(chǎn)品,目標是在2021年進行采樣,同時美光的研究人員也在研究處理器內(nèi)存架構(gòu),這也是其他很多初創(chuàng)公司正在研究的領(lǐng)域。