初創(chuàng)公司Cornami周四透露了一些細(xì)節(jié),即使用新方法來設(shè)計(jì)芯片,從而用于運(yùn)行神經(jīng)網(wǎng)絡(luò)。首席技術(shù)官Paul Masters表示,該芯片將能夠最好地利用20世紀(jì)70年代首次出現(xiàn)的技術(shù)。
在科技時代,各初創(chuàng)公司都在開發(fā)用于AI和機(jī)器學(xué)習(xí)的特殊芯片。在本周由半導(dǎo)體分析公司林利集團(tuán)于圣克拉拉縣(加利福利亞)舉辦的林利集團(tuán)處理器秋季發(fā)布會上,出現(xiàn)了一些最引人注目的芯片。
ZDNet參加了此次大會,以探究這些秘密發(fā)布的芯片。
在周四早上,圣克拉拉縣的一家初創(chuàng)公司Cornami在會上做了一次展示。
公司的聯(lián)合創(chuàng)始人兼首席技術(shù)官Paul Masters描述了一種能夠讓芯片組件進(jìn)行機(jī)器學(xué)習(xí)“訓(xùn)練”(開發(fā)出了神經(jīng)網(wǎng)絡(luò))以及“推理”(神經(jīng)網(wǎng)絡(luò)能夠持續(xù)提供答案)的全新方式。
Cornami一直在秘密開發(fā)這一芯片,而且這也是Masters第一次公開公司芯片工作原理的細(xì)節(jié)。
Cornami的目標(biāo)是為眾多市場提供這些芯片,包括“邊緣計(jì)算”,其中汽車和消費(fèi)者電子產(chǎn)品對于具備相當(dāng)高的響應(yīng)性能以及能夠高能效地運(yùn)行神經(jīng)網(wǎng)絡(luò)的芯片有著獨(dú)特的需求。
Masters表示,該芯片使用了上世紀(jì)70和80年代的技術(shù),即脈動陣列。這種陣列有繁多的計(jì)算元素(如乘數(shù)累加器)來運(yùn)行神經(jīng)網(wǎng)絡(luò)中最基本的計(jì)算單元,即矩陣乘法計(jì)算。這些元素在網(wǎng)格中通過電纜相互連接,并同內(nèi)存進(jìn)行連接。“脈動陣列”是以心臟的脈動功能命名的:和人體內(nèi)的血液循環(huán)一樣,數(shù)據(jù)在這些計(jì)算元素之間流動。
大會表示,在脈動陣列剛出現(xiàn)的時候,并沒有立即獲得成功,而是通過成為構(gòu)建AI芯片的主導(dǎo)方式逐漸成型。Masters在談及脈動陣列時表示:“你已經(jīng)見識了這個陣列,很棒,而且是來自70年代的技術(shù)。”
“谷歌現(xiàn)在在使用它們,微軟以及很多的初創(chuàng)公司也都在使用。”他在談?wù)撁}動陣列的普及度時說道。
但是Masters談?wù)摿薈ornami是如何以一種獨(dú)特的方式來使用脈動陣列。“脈動陣列是一個方形的陣列。”Masters說道。他提及了乘數(shù)累加器的這種對稱排列。由于這是一種固定的排列方式,因此將數(shù)據(jù)移動到或者移出這些計(jì)算元素要耗費(fèi)芯片很多的性能,實(shí)際上要高于在每個計(jì)算元素中運(yùn)行計(jì)算所耗費(fèi)的性能。
“傳統(tǒng)芯片中的能源消耗在哪里?”Masters表示這是一個大問題。“數(shù)據(jù)會被轉(zhuǎn)儲到DDR(動態(tài)內(nèi)存)中,而且必須進(jìn)入計(jì)算核心,因此數(shù)據(jù)能夠從DDR遷移到3級緩存、2級緩存和1級緩存中,然后進(jìn)入到運(yùn)算寄存器,再然后就進(jìn)入到計(jì)算中。如果我用完了這些核心,那就要反過來再重復(fù)一次,我必須先退出,然后讓所有的臨時數(shù)據(jù)轉(zhuǎn)儲回寄存器、1級緩存、2級緩存、3級緩存,如此反復(fù)。”
Masters解釋道,僅僅是“接觸”1級緩存,耗費(fèi)的能源就是實(shí)際計(jì)算所耗費(fèi)能源的4倍。
“傳統(tǒng)機(jī)器中能耗最高的就是遷移數(shù)據(jù)。”Masters說道。解決方案是擁有上千個核心。通過讓上千個核心保持“忙碌”的狀態(tài),就能夠避免核心回到內(nèi)存子系統(tǒng),并且取而代之的是將計(jì)算的輸入和輸出從一個元素路由到下一個元素。“如果你有足夠多的核心,如8000個、16000個或者32000個核心,那么我們就能夠?qū)⑺械纳窠?jīng)網(wǎng)絡(luò)都保存在芯片上。”
鑒于內(nèi)存的成本,Cornami芯片改變了電路,以便讓計(jì)算元素能夠切換到各種幾何排列中,這種排列能夠有效地組織芯片上的計(jì)算活動,同時會根據(jù)神經(jīng)網(wǎng)絡(luò)的需求而改變。
“Cornami構(gòu)建了一個架構(gòu),在這個架構(gòu)中,脈沖陣列能夠按需被修改成任意大小和形狀。”正如前面所展示的那樣,脈沖陣列能夠被動態(tài)地重新修改為全新的幾何圖形,而并非方形。這些奇怪的陣列形狀能夠讓計(jì)算元素之間的輸入和輸出更加高效。因此Cornami芯片能夠最大限度地減少內(nèi)存以及緩存引用,從而“顯著提高功耗、延遲和性能。”
Masters認(rèn)為有了這種靈活性,單個Cornami芯片就能夠處理整個神經(jīng)網(wǎng)絡(luò),并且能夠取代通常用于運(yùn)行神經(jīng)網(wǎng)絡(luò)的CPU、GPU、FPGA和ASIC的各種組合。這是一個“位于芯片上的數(shù)據(jù)中心”,他說道,對于將AI應(yīng)用到汽車等“邊緣計(jì)算”領(lǐng)域中具有重要意義。
Masters展示了一些性能數(shù)據(jù):當(dāng)運(yùn)行用于識別圖片的SegNet神經(jīng)網(wǎng)絡(luò)時,Cornami每秒能夠運(yùn)行877幀,并且只需消耗30瓦的能源;相比于Nvidia“Titan V”GPU,該GPU每秒只能運(yùn)行8.6幀,而且需要消耗250瓦的能源。
Cornami在2016年8月,從Impact Venture Capital獲得了300萬美元的B輪風(fēng)險(xiǎn)資金。該公司后續(xù)還會獲得一些資金,但是公司拒絕透露具體數(shù)額。
原文作者:ZDNet