本文來自自微信公眾號(hào)“半導(dǎo)體行業(yè)觀察”,作者/編輯部。
伴隨著英偉達(dá)AI芯片的熱賣,HBM(高帶寬內(nèi)存)成為了時(shí)下存儲(chǔ)中最為火熱的一個(gè)領(lǐng)域,不論是三星、海力士還是美光,都投入了大量研發(fā)人員與資金,力圖走在這條賽道的最前沿。
HBM的初衷,是為了向GPU和其他處理器提供更多的內(nèi)存,但隨著GPU的功能越來越強(qiáng)大,需要更快地從內(nèi)存中訪問數(shù)據(jù),以縮短應(yīng)用處理時(shí)間。例如,在機(jī)器學(xué)習(xí)訓(xùn)練運(yùn)行中,大型語言模型(LLM)可能需要重復(fù)訪問數(shù)十億甚至數(shù)萬億個(gè)參數(shù),而這可能需要數(shù)小時(shí)或數(shù)天才能完成。
這也讓傳輸速率成為了HBM的核心參數(shù),而已有的HBM都采用了標(biāo)準(zhǔn)化設(shè)計(jì):HBM存儲(chǔ)器堆棧通過微凸塊連接到HBM堆棧中的硅通孔(TSV或連接孔),并與放置在基礎(chǔ)封裝層上的中間件相連,中間件上還安裝有處理器,提供HBM到處理器的連接。與普通的DRAM相比,如此設(shè)計(jì)的HBM能夠垂直連接多個(gè)DRAM,能顯著提升數(shù)據(jù)處理速度,
目前,HBM產(chǎn)品以HBM(第一代)、HBM2(第二代)、HBM2E(第三代)、HBM3(第四代)、HBM3E(第五代)的順序開發(fā),最新的HBM3E是HBM3的擴(kuò)展版本,速率達(dá)到了8Gbps。
但對(duì)于AI芯片來說,光靠傳統(tǒng)的硅通孔已經(jīng)無法滿足廠商對(duì)于速率的渴求,內(nèi)存廠商和標(biāo)準(zhǔn)機(jī)構(gòu)正在研究如何通過使用光子等技術(shù)或直接在處理器上安裝HBM,從而讓像GPU這樣的加速處理器可以獲得更快的內(nèi)存訪問速度。
誰才是新方向?
雖然目前業(yè)界都在集中研發(fā)HBM3的迭代產(chǎn)品,但是廠商們?yōu)榱藸帄Z市場的話語權(quán),對(duì)于未來HBM技術(shù)開發(fā)有著各自不同的見解與想法。
三星
三星正在研究在中間件中使用光子技術(shù),光子通過鏈路的速度比電子編碼的比特更快,而且耗電量更低。光子鏈路可以飛秒速度運(yùn)行。這意味著10-¹?個(gè)時(shí)間單位,即四十億分之一(十億分之一的百萬分之一)秒。在最近舉行的開放計(jì)算項(xiàng)目(OCP)峰會(huì)上,以首席工程師李彥為代表的韓國巨頭先進(jìn)封裝團(tuán)隊(duì)介紹了這一主題。
除了使用光子集成電路外,另一種方法是將HBM堆棧更直接地連接到處理器(上圖中的三星邏輯圖)。這將涉及謹(jǐn)慎的熱管理,以防止過熱。這意味著隨著時(shí)間的推移,HBM堆??梢陨?jí),以提供更大的容量,但這需要一個(gè)涵蓋該領(lǐng)域的行業(yè)標(biāo)準(zhǔn)才有可能實(shí)現(xiàn)。
SK海力士
據(jù)韓媒報(bào)道,SK海力士還在研究HBM與邏輯處理器直接連接的概念。這種概念是在混合使用的半導(dǎo)體中將GPU芯片與HBM芯片一起制造。芯片制造商將其視為HBM4技術(shù),并正在與英偉達(dá)和其他邏輯半導(dǎo)體供應(yīng)商洽談。這個(gè)想法涉及內(nèi)存和邏輯制造商共同設(shè)計(jì)芯片,然后由臺(tái)積電(TSMC)等晶圓廠運(yùn)營商制造。
這有點(diǎn)類似于內(nèi)存處理(PIM)的想法,如果最終不能成為行業(yè)標(biāo)準(zhǔn)的話,很可能會(huì)變成事實(shí)上的廠商獨(dú)占。
美光
Tom's Hardware報(bào)道稱,美光與市場上的其他公司正在開展HBM4和HBM4e活動(dòng)。美光目前正在生產(chǎn)HBM3e gen-2內(nèi)存,采用8層垂直堆疊的24GB芯片。美光的12層垂直堆疊36GB芯片將于2024年第一季度開始出樣。它正與半導(dǎo)體代工運(yùn)營商臺(tái)積電合作,將其gen-2 HBM3e用于人工智能和HPC設(shè)計(jì)應(yīng)用。
美光表示,其目前的產(chǎn)品具有高能效,對(duì)于安裝了1000萬個(gè)GPU的設(shè)備來說,每個(gè)HBM堆棧能節(jié)省約5瓦的功耗,預(yù)計(jì)五年內(nèi)將比其他HBM產(chǎn)品節(jié)省高達(dá)5.5億美元的運(yùn)營開支。
下一代HBM
2015年以來,從HBM1到HBM3e,它們都保留了相同的1024位(每個(gè)堆棧)接口,即具有以相對(duì)適中的時(shí)鐘速度運(yùn)行的超寬接口,為了提高內(nèi)存?zhèn)鬏斔俾?,下一代HBM4可能需要對(duì)高帶寬內(nèi)存技術(shù)進(jìn)行更實(shí)質(zhì)性的改變,即從更寬的2048位內(nèi)存接口開始。
出于多種技術(shù)原因,業(yè)界打算在不增加HBM存儲(chǔ)器堆棧占用空間的情況下實(shí)現(xiàn)這一目標(biāo),從而將下一代HBM存儲(chǔ)器的互連密度提高一倍。HBM4會(huì)在多個(gè)層面上實(shí)現(xiàn)重大技術(shù)飛躍。在DRAM堆疊方面,2048位內(nèi)存接口需要大幅增加內(nèi)存堆疊的硅通孔數(shù)量。同時(shí),外部芯片接口需要將凸塊間距縮小到遠(yuǎn)小于55微米,而HBM3目前的凸塊總數(shù)(約)為3982個(gè),因此需要大幅增加微型凸塊的總數(shù)。
內(nèi)存廠商表示,他們還將在一個(gè)模塊中堆疊多達(dá)16個(gè)內(nèi)存模塊,即所謂的16-Hi堆疊,從而增加了該技術(shù)的復(fù)雜性。(從技術(shù)上講,HBM3也支持16-Hi堆疊,但到目前為止,還沒有制造商真正使用它)這將使內(nèi)存供應(yīng)商能夠顯著提高其HBM堆疊的容量,但也帶來了新的復(fù)雜性,即如何在不出現(xiàn)缺陷的情況下連接更多的DRAM凸塊,然后保持所產(chǎn)生的HBM堆疊適當(dāng)且一致地短。
在阿姆斯特丹舉行的臺(tái)積電OIP 2023會(huì)議上,臺(tái)積電設(shè)計(jì)基礎(chǔ)設(shè)施管理主管這樣說道:"因?yàn)閇HBM4]不是將速度提高了一倍,而是將[接口]引腳增加了一倍。這就是為什么我們要與所有三家合作伙伴合作,確保他們的HBM4(采用我們的先進(jìn)封裝方法)符合標(biāo)準(zhǔn),并確保RDL或interposer或任何介于兩者之間的產(chǎn)品都能支持(HBM4的)布局和速度。因此,我們會(huì)繼續(xù)與三星、SK海力士和美光合作"。
目前,臺(tái)積電的3DFabric存儲(chǔ)器聯(lián)盟目前正致力于確保HBM3E/HBM3 Gen2存儲(chǔ)器與CoWoS封裝、12-Hi HBM3/HBM3E封裝與高級(jí)封裝、HBM PHY的UCIe以及無緩沖區(qū)HBM(由三星率先推出的一項(xiàng)技術(shù))兼容。
美光公司今年早些時(shí)候表示,"HBMNext"內(nèi)存將于2026年左右面世,每堆棧容量介于36 GB和64 GB之間,每堆棧峰值帶寬為2 TB/s或更高。所有這些都表明,即使采用更寬的內(nèi)存總線,內(nèi)存制造商也不會(huì)降低HBM4的內(nèi)存接口時(shí)鐘頻率。
總結(jié)
與三星和SK海力士不同,美光并不打算把HBM和邏輯芯片整合到一個(gè)芯片中,在下一代HBM發(fā)展上,韓系和美系內(nèi)存廠商涇渭分明,美光可能會(huì)告訴AMD、英特爾和英偉達(dá),大家可以通過HBM-GPU這樣的組合芯片獲得更快的內(nèi)存訪問速度,但是單獨(dú)依賴某一家的芯片就意味著更大風(fēng)險(xiǎn)。
美國的媒體表示,隨著機(jī)器學(xué)習(xí)訓(xùn)練模型的增大和訓(xùn)練時(shí)間的延長,通過加快內(nèi)存訪問速度和提高每個(gè)GPU內(nèi)存容量來縮短運(yùn)行時(shí)間的壓力也將隨之增加,而為了獲得鎖定的HBM-GPU組合芯片設(shè)計(jì)(盡管具有更好的速度和容量)而放棄標(biāo)準(zhǔn)化DRAM的競爭供應(yīng)優(yōu)勢,可能不是正確的前進(jìn)方式。
但韓媒的態(tài)度就相當(dāng)曖昧了,他們認(rèn)為HBM可能會(huì)重塑半導(dǎo)體行業(yè)秩序,認(rèn)為IP(半導(dǎo)體設(shè)計(jì)資產(chǎn))和工藝的重大變化不可避免,還引用了業(yè)內(nèi)人士說:"除了定制的'DRAM代工廠'之外,可能還會(huì)出現(xiàn)一個(gè)更大的世界,即使是英偉達(dá)和AMD這樣的巨頭也將不得不在三星和SK海力士制造的板材上進(jìn)行設(shè)計(jì)。"
當(dāng)然SK海力士首席執(zhí)行官兼總裁Kwak No-jeong的發(fā)言更值得玩味,他說:“HBM、計(jì)算快速鏈接(CXL)和內(nèi)存處理(PIM)的出現(xiàn)將為內(nèi)存半導(dǎo)體公司帶來新的機(jī)遇,這種濱化模糊了邏輯半導(dǎo)體和存儲(chǔ)器之間的界限,內(nèi)存正在從一種通用商品轉(zhuǎn)變?yōu)橐环N特殊商品,起點(diǎn)將是HBM4。”
由此看來,下一代HBM技術(shù)路線的選擇,可能會(huì)引發(fā)業(yè)界又一輪重大的洗牌,誰能勝出,我們不妨拭目以待。