邊緣AI芯片是指在邊緣設(shè)備上（而不是在遠(yuǎn)程數(shù)據(jù)中心）執(zhí)行或加速機(jī)器學(xué)習(xí)任務(wù)的部分或完整芯片。據(jù)德勤（Deloitte）預(yù)測(cè)，到2020年，邊緣AI芯片出貨量將超過(guò)7.5億顆，銷售金額將達(dá)到26億美元，而且邊緣AI芯片的增長(zhǎng)將遠(yuǎn)快于整體芯片市場(chǎng)。到2024年，預(yù)計(jì)邊緣AI芯片的出貨量可能超過(guò)15億顆。這表示其復(fù)合年增長(zhǎng)率至少為20%，是整個(gè)半導(dǎo)體行業(yè)增長(zhǎng)預(yù)測(cè)（9%CAGR）的兩倍多。
圖1：AI可以嵌入的位置（圖片來(lái)源：Deloitte Insights）
這些邊緣AI芯片可能會(huì)嵌入到越來(lái)越多的消費(fèi)類設(shè)備中，例如高端智能手機(jī)、平板電腦、智能音箱和可穿戴設(shè)備等。它們還將在多種企業(yè)市場(chǎng)中得到應(yīng)用，例如機(jī)器人、攝像頭、傳感器和其它物聯(lián)網(wǎng)設(shè)備。消費(fèi)類邊緣AI芯片市場(chǎng)將遠(yuǎn)大于企業(yè)市場(chǎng)，但增長(zhǎng)速度可能會(huì)較慢，預(yù)計(jì)2020年至2024年之間，其復(fù)合年增長(zhǎng)率為18%。而企業(yè)級(jí)邊緣AI芯片市場(chǎng)的增長(zhǎng)速度更快，預(yù)計(jì)同期的復(fù)合年增長(zhǎng)率為50%。
圖2:邊緣AI芯片市場(chǎng)(圖片來(lái)源:Deloitte Insights)
盡管如此，無(wú)論從出貨量還是銷售金額來(lái)看，今年消費(fèi)類設(shè)備市場(chǎng)都將占邊緣AI芯片市場(chǎng)的90%以上。這些邊緣AI芯片中的絕大部分將用于高端智能手機(jī)，這一市場(chǎng)占目前使用的所有消費(fèi)類邊緣AI芯片的70%以上。實(shí)際上，不僅是2020年，在未來(lái)幾年，AI芯片的增長(zhǎng)將主要由智能手機(jī)推動(dòng)。我們相信在今年預(yù)期出售的15.6億部智能手機(jī)中，超過(guò)三分之一都可能包含邊緣AI芯片。
由于對(duì)處理器的要求非常高，AI計(jì)算歷來(lái)幾乎全部在數(shù)據(jù)中心、企業(yè)核心設(shè)備或電信邊緣處理器上遠(yuǎn)程執(zhí)行，而不是在終端設(shè)備本地上執(zhí)行?，F(xiàn)在，邊緣AI芯片正在改變這一切。它們物理尺寸更小，相對(duì)便宜，功耗更小，產(chǎn)生的熱量也更少，因而可以集成到手持設(shè)備以及非消費(fèi)類設(shè)備（如機(jī)器人）中。邊緣AI芯片可讓終端設(shè)備能夠在本地執(zhí)行密集型AI計(jì)算，減少甚至消除了將大量數(shù)據(jù)發(fā)送到遠(yuǎn)端位置的需求，因此在可用性、速度、數(shù)據(jù)安全性和隱私性方面益處良多。
從隱私和安全性方面來(lái)看，在邊緣設(shè)備上處理數(shù)據(jù)顯然更安全；個(gè)人信息不離開手機(jī)就不會(huì)被攔截或?yàn)E用。而當(dāng)邊緣AI芯片安裝在手機(jī)上時(shí)，即使未連接到網(wǎng)絡(luò)，它也可以完成所有處理。
當(dāng)然，并非所有AI計(jì)算都必須在本地進(jìn)行。對(duì)于某些應(yīng)用，例如，當(dāng)設(shè)備上的邊緣AI芯片無(wú)法處理太多數(shù)據(jù)時(shí)，發(fā)送數(shù)據(jù)給遠(yuǎn)端AI陣列來(lái)處理是適當(dāng)?shù)?，甚至是首選方案。實(shí)際上，多數(shù)情況下，AI將以混合模式完成：一部分在設(shè)備端實(shí)現(xiàn)，一部分在云端實(shí)現(xiàn)。具體情況下應(yīng)該選擇什么樣的混合方式，要看需要完成的AI處理類型。
智能手機(jī)邊緣AI經(jīng)濟(jì)學(xué)
并非只有智能手機(jī)使用邊緣AI芯片；其它設(shè)備諸如平板電腦、可穿戴設(shè)備、智能音箱等也會(huì)采用AI芯片。短期內(nèi)，其它設(shè)備對(duì)邊緣AI芯片銷售的影響可能會(huì)比智能手機(jī)小得多，原因是要么這類市場(chǎng)沒有什么增長(zhǎng)（如平板電腦），要么這類市場(chǎng)規(guī)模太小而無(wú)法產(chǎn)生實(shí)質(zhì)性的影響。例如，智能音箱和可穿戴設(shè)備市場(chǎng)總銷量預(yù)計(jì)2020年僅為1.25億部。不過(guò)，許多可穿戴設(shè)備和智能音箱都依賴邊緣AI芯片，因此其普及率已經(jīng)很高。
目前，只有價(jià)格最昂貴的智能手機(jī)（處于價(jià)格區(qū)間頂部）才可能內(nèi)置邊緣AI芯片。但是，帶有AI芯片的智能手機(jī)并不一定要價(jià)格昂貴到讓消費(fèi)者望而卻步。
我們可以對(duì)智能手機(jī)的邊緣AI芯片占比進(jìn)行合理的估算?，F(xiàn)今，三星、蘋果和華為的手機(jī)處理器圖片均顯示出裸片及所有功能特性，因此可以識(shí)別出芯片的哪些部分用于哪些功能。例如，三星Exynos 9820芯片的照片顯示，其芯片總面積的大約5%專用于AI處理器。整個(gè)SoC應(yīng)用處理器的成本估計(jì)為70.50美元，僅次于顯示屏，是手機(jī)中第二昂貴的器件，約占設(shè)備總物料成本的17%。假設(shè)AI部分的成本與裸片上的其它部分一樣，即跟所占裸片面積成正比。那么，Exynos的邊緣AI神經(jīng)處理單元（NPU）大約占裸片總成本的5%，相當(dāng)于每個(gè)NPU約$3.50美元。
圖3：三星Exynos 9820芯片的裸片曝光顯示，大約5%的面積專用于AI處理器。（圖片來(lái)源：ChipRebel；注釋：AnandTech）
同樣，在蘋果的A12仿生芯片上，專用于機(jī)器學(xué)習(xí)的部分約占裸片總面積的7%。如果整個(gè)處理器的成本為72美元，那么邊緣AI部分的成本約為5.10美元。華為麒麟970芯片的成本估計(jì)為52.50美元，其中2.1％用于NPU，則這部分成本應(yīng)為1.10美元。（當(dāng)然，裸片面積并不是衡量芯片總成本中有多少用于AI的唯一方法。據(jù)華為稱，麒麟970的NPU包含1.5億個(gè)晶體管，占整個(gè)芯片55億個(gè)晶體管總數(shù)的2.7%。若按這樣計(jì)算，NPU的成本將有所提高，即1.42美元）。
圖4：蘋果的A12仿生芯片專用于機(jī)器學(xué)習(xí)的部分約占總裸片面積的7%。（圖片來(lái)源：TechInsights/AnandTech）
盡管這里所提到的成本差別很大，但可以合理假設(shè)NPU的平均成本約為每芯片3.50美元。雖然每顆芯片的價(jià)格不高，但考慮到五億的智能手機(jī)出貨量（還不包括平板電腦、智能音箱和可穿戴設(shè)備），這仍然是一個(gè)很大的市場(chǎng)。制造商的平均成本為3.50美元，最低可能僅1美元，因此，在智能手機(jī)芯片中添加專用的邊緣AI NPU是很自然的事。按照正常的利潤(rùn)加價(jià)幅度，制造成本增加1美元，對(duì)最終消費(fèi)者而言也僅增加2美元。這意味著即使是價(jià)格低于250美元的智能手機(jī)，也可以擁有NPU及其帶來(lái)的益處，如更好的攝像頭、離線語(yǔ)音助手等，而價(jià)格漲幅也不過(guò)1%。
AI芯片的采購(gòu)：自研還是第三方？
生產(chǎn)智能手機(jī)和其它設(shè)備的廠商獲取邊緣AI芯片的方式各不相同，這主要取決于手機(jī)型號(hào)，甚至地理位置等因素。有些公司從高通和聯(lián)發(fā)科等第三方供應(yīng)商那里購(gòu)買應(yīng)用處理器/調(diào)制解調(diào)器芯片。這兩家公司在2018年合計(jì)占據(jù)了智能手機(jī)SoC市場(chǎng)約60%的份額。
高通和聯(lián)發(fā)科提供了一系列不同價(jià)位的SoC。盡管并非所有都包含邊緣AI芯片，但高端型號(hào)通常都有，比如高通的曉龍845和855，以及聯(lián)發(fā)科的Helio P60。而在另一極端，蘋果則完全不使用第三方AP芯片，蘋果設(shè)計(jì)并使用自己的SoC處理器，如A11、A12和A13仿生芯片，所有這些芯片均內(nèi)嵌邊緣AI功能。
其它手機(jī)制造商，例如三星和華為，則采用混合策略，即從市場(chǎng)上的芯片供應(yīng)商那里購(gòu)買一些SoC，其余部分則使用他們自己研發(fā)的芯片，例如三星的Exynos 9820和華為的麒麟970/980。
超過(guò)50家AI加速芯片公司在爭(zhēng)奪企業(yè)與工業(yè)領(lǐng)域的邊緣AI市場(chǎng)
如果在智能手機(jī)和其它設(shè)備中采用邊緣AI處理器益處很多，那為什么不將它們用于企業(yè)應(yīng)用呢？實(shí)際上，邊緣AI處理器已經(jīng)有一些企業(yè)用例了，例如某些自主無(wú)人機(jī)。配備了智能手機(jī)SoC應(yīng)用處理器的無(wú)人機(jī)能夠完全在設(shè)備端進(jìn)行實(shí)時(shí)導(dǎo)航和避障，而無(wú)需網(wǎng)絡(luò)連接。
但是，針對(duì)智能手機(jī)或平板電腦優(yōu)化的芯片并不是許多企業(yè)或工業(yè)應(yīng)用的正確選擇。如前所述，智能手機(jī)SoC的邊緣AI部分僅占總面積的5%，約占總成本的3.50美元，并且比整個(gè)SoC的能耗低約95%。這樣，如果開發(fā)出只有邊緣AI功能（加上其它一些必要功能，例如內(nèi)存）的芯片，它的成本會(huì)更低、功耗更少且體積更小，這豈不更好？
事實(shí)上，已經(jīng)有這樣的芯片了。據(jù)說(shuō)，有多達(dá)50家不同的公司正在開發(fā)各種各樣的AI加速芯片。2019年就已經(jīng)有獨(dú)立的邊緣AI芯片面向開發(fā)人員供應(yīng)，可以單獨(dú)購(gòu)買，價(jià)格約為80美元。如果生產(chǎn)量達(dá)到百萬(wàn)級(jí)別的話，設(shè)備制造商的購(gòu)買成本會(huì)大大降低，有些甚至低至1美元（甚至可能更低），而有些要幾十美元?，F(xiàn)在，我們以智能手機(jī)邊緣AI芯片作為參考標(biāo)準(zhǔn)，假設(shè)邊緣AI芯片的平均成本約為3.50美元。
除了相對(duì)便宜之外，獨(dú)立的邊緣AI處理器還具有體積小的優(yōu)勢(shì)，而且功耗也相對(duì)較低，僅為1到10W之間。相比之下，一個(gè)由16個(gè)GPU和兩個(gè)CPU組成的數(shù)據(jù)中心集群功能非常強(qiáng)大，但成本也十分昂貴，高達(dá)40萬(wàn)美元，重350磅，耗電要10千瓦。
鑒于目前的情形，邊緣AI可以為企業(yè)帶來(lái)更多新的可能性，尤其是在物聯(lián)網(wǎng)應(yīng)用方面。通過(guò)使用邊緣AI芯片，企業(yè)可以極大地提高在設(shè)備端的數(shù)據(jù)分析能力（而不僅僅從聯(lián)網(wǎng)設(shè)備端收集數(shù)據(jù)），并能夠?qū)⒎治鼋Y(jié)果轉(zhuǎn)化為行動(dòng)，從而避免了將海量數(shù)據(jù)發(fā)送到云端造成的成本、復(fù)雜性和安全性方面的挑戰(zhàn)。AI芯片可以幫助解決的問題包括：
數(shù)據(jù)安全和隱私
不管企業(yè)如何謹(jǐn)慎地保護(hù)數(shù)據(jù)，收集、存儲(chǔ)并將數(shù)據(jù)傳送到云端都會(huì)不可避免地使企業(yè)面臨網(wǎng)絡(luò)安全和隱私威脅。隨著時(shí)間的推移，應(yīng)對(duì)這一風(fēng)險(xiǎn)變得至關(guān)重要。有關(guān)識(shí)別個(gè)人身份信息的法規(guī)在各個(gè)國(guó)家和地區(qū)不斷出臺(tái)，消費(fèi)者也逐漸意識(shí)到企業(yè)正在收集他們的各種數(shù)據(jù)，而80%的消費(fèi)者都表示，他們認(rèn)為企業(yè)沒有盡力保護(hù)消費(fèi)者隱私。諸如智能音箱之類的設(shè)備開始在醫(yī)院等場(chǎng)合廣泛使用，這些場(chǎng)合對(duì)患者隱私的管理十分嚴(yán)格。
邊緣AI芯片可在本地處理大量的數(shù)據(jù)，降低了個(gè)人或企業(yè)數(shù)據(jù)被攔截或?yàn)E用的可能性。例如，具有機(jī)器學(xué)習(xí)處理能力的安全攝像頭可以通過(guò)分析視頻來(lái)確定視頻的哪些部分相關(guān)，并只將這部分視頻發(fā)送到云端，從而降低隱私泄漏的風(fēng)險(xiǎn)。機(jī)器學(xué)習(xí)芯片還可以識(shí)別更廣泛的語(yǔ)音命令，從而減少需要在云端分析的音頻。而準(zhǔn)確的語(yǔ)音識(shí)別功能還可以幫助智能音箱更準(zhǔn)確地識(shí)別出“喚醒詞”，從而防止“聽到”不相關(guān)的對(duì)話。
弱連接性
設(shè)備必須聯(lián)網(wǎng)，其數(shù)據(jù)才能在云端處理。但是，在某些情況下，設(shè)備聯(lián)網(wǎng)是不切實(shí)際的，無(wú)人機(jī)就是個(gè)很好的例子。無(wú)人機(jī)的操作位置決定了維持其聯(lián)網(wǎng)可能很困難，而且聯(lián)網(wǎng)本身以及將數(shù)據(jù)上傳到云端都會(huì)縮短電池壽命。在澳大利亞新南威爾士州，裝配有嵌入式機(jī)器學(xué)習(xí)功能的無(wú)人機(jī)可以巡邏海灘，以確保游泳者的安全。無(wú)需互聯(lián)網(wǎng)連接，這些無(wú)人機(jī)就可以識(shí)別出被海浪卷走的游泳者，或者在鯊魚和鱷魚襲擊來(lái)臨前警告游泳者。
太大的數(shù)據(jù)
物聯(lián)網(wǎng)設(shè)備會(huì)生成大量的數(shù)據(jù)。例如，一架空客A-350噴氣式飛機(jī)擁有6,000多個(gè)傳感器，每天的飛行將產(chǎn)生2.5 TB的數(shù)據(jù)。在全球范圍內(nèi)，安全攝像頭每天生成的數(shù)據(jù)約有2500 PB。將所有這些數(shù)據(jù)發(fā)送到云端進(jìn)行存儲(chǔ)和分析的成本高昂且復(fù)雜。而將機(jī)器學(xué)習(xí)處理器放置在端點(diǎn)設(shè)備上（傳感器或攝像頭）則可以解決這個(gè)難題。例如，可以在攝像頭中配備視覺處理單元（VPU），VPU是一種專用于分析或預(yù)處理數(shù)字圖像的低功耗SoC處理器。借助嵌入式邊緣AI芯片，設(shè)備可以實(shí)時(shí)分析數(shù)據(jù)，只有當(dāng)相關(guān)數(shù)據(jù)需要發(fā)送到云端進(jìn)一步分析時(shí)才會(huì)向云端傳輸，從而大大降低了存儲(chǔ)和帶寬成本。
功耗制約
低功耗的機(jī)器學(xué)習(xí)芯片甚至可以在小型電池供電的設(shè)備上執(zhí)行AI計(jì)算，而不會(huì)消耗過(guò)多功率。例如，Arm芯片可以嵌入到呼吸機(jī)中來(lái)分析數(shù)據(jù)，比如吸入肺活量和進(jìn)入肺部的藥物流。在呼吸機(jī)上進(jìn)行AI分析，然后將結(jié)果發(fā)送到智能手機(jī)上的APP，這樣就可以幫助醫(yī)療保健專家為哮喘患者提供個(gè)性化護(hù)理。除了現(xiàn)在已有的低功率邊緣AI NPU外，很多公司還致力于開發(fā)“微型機(jī)器學(xué)習(xí)”：在微控制器單元之類的器件上實(shí)現(xiàn)深度學(xué)習(xí)。例如，谷歌正在開發(fā)一個(gè)TensorFlow Lite版本，可以讓微控制器分析數(shù)據(jù)，并將需要發(fā)送到芯片外的數(shù)據(jù)壓縮為只有幾個(gè)字節(jié)大小。
低延遲需求
無(wú)論是通過(guò)有線網(wǎng)絡(luò)還是無(wú)線網(wǎng)絡(luò)，在遠(yuǎn)程數(shù)據(jù)中心執(zhí)行AI計(jì)算都意味著存在往返延遲，最佳情況下延遲為1到2毫秒，最差情況下為幾十甚至幾百毫秒。而使用邊緣AI芯片在設(shè)備端執(zhí)行AI可以將這個(gè)延遲減少到納秒級(jí)別，這對(duì)于那些需要收集和處理數(shù)據(jù)并即刻采取行動(dòng)的應(yīng)用場(chǎng)景至關(guān)重要。例如，自動(dòng)駕駛汽車必須通過(guò)計(jì)算機(jī)視覺系統(tǒng)收集并處理大量數(shù)據(jù)以識(shí)別物體，同時(shí)收集和處理來(lái)自傳感器的數(shù)據(jù)以控制汽車各種功能。然后，他們必須立即根據(jù)這些數(shù)據(jù)做出決策，例如何時(shí)轉(zhuǎn)彎、制動(dòng)或加速，以實(shí)現(xiàn)安全的操作。為此，自動(dòng)駕駛汽車必須自己處理在車輛中收集的海量數(shù)據(jù)。低延遲對(duì)機(jī)器人應(yīng)用也很重要。隨著機(jī)器人逐漸走出工廠環(huán)境，而開始與人類協(xié)同工作，低延遲將變得越來(lái)越重要。
結(jié)論：邊緣AI對(duì)海量數(shù)據(jù)應(yīng)用至關(guān)重要
邊緣AI芯片的普及將可能給消費(fèi)者和企業(yè)帶來(lái)重大變化。對(duì)消費(fèi)者而言，邊緣AI芯片可以實(shí)現(xiàn)多種功能，從解鎖手機(jī)到與語(yǔ)音助手對(duì)話，甚至在極端困難的條件下拍攝出令人驚嘆的照片。這些，都無(wú)需互聯(lián)網(wǎng)連接。
但從長(zhǎng)遠(yuǎn)來(lái)看，邊緣AI芯片對(duì)企業(yè)應(yīng)用的影響可能更大，它們將把企業(yè)的物聯(lián)網(wǎng)應(yīng)用提升到一個(gè)全新的水平。由AI芯片推動(dòng)的智能設(shè)備將有助于擴(kuò)展現(xiàn)有市場(chǎng)，沖擊現(xiàn)有企業(yè)，同時(shí)改變制造、建筑、物流、農(nóng)業(yè)和能源等行業(yè)的價(jià)值分配方式。收集、理解并立即根據(jù)大量數(shù)據(jù)采取行動(dòng)的能力對(duì)于依賴大數(shù)據(jù)的應(yīng)用將變得至關(guān)重要，而未來(lái)學(xué)家們預(yù)測(cè)，未來(lái)這類應(yīng)用將遍地開花，包括視頻監(jiān)控、虛擬現(xiàn)實(shí)、無(wú)人機(jī)和車輛等。
未來(lái)，很大程度上將取決于邊緣AI芯片如何讓設(shè)備更加智能。
