本文來自微信公眾號“AI芯天下”,作者/方文三。
在現代AI系統(tǒng)中,使用PCIe將加速器連接在一起已經太慢了;
而光互連技術,正成為芯片巨頭們競相探索與突破的關鍵領域,為芯片間的數據傳輸帶來了全新的變革與機遇。
光互連的興起
最近,在機架內部使用光互連的趨勢日益增長。受人工智能的高帶寬、低延遲要求(因為人工智能模型分布在數十個處理節(jié)點上)的推動,光互連正在幫助這些多節(jié)點系統(tǒng)盡可能快地運行。速度一如既往地至關重要。
光互連是一個充滿創(chuàng)新的領域。一些初創(chuàng)公司正在開發(fā)全光分組交換——避免在電域和光域之間轉換信號的需要,從而大大節(jié)省了功耗和延遲。
其他公司正在將光學技術應用到下一層,正在開發(fā)全光芯片到芯片甚至硅片到硅片的互連。在這里,通信帶寬甚至更高。為了實現這一進步,共封裝光學器件至關重要。代工廠和芯片封裝公司正在大力投資這一功能。
大模型時代對PCIe技術進步的需求
PCIe總線協(xié)議作為計算機和服務器中使用最廣泛的高速數據傳輸技術,其傳輸性能的提升對于滿足這些需求至關重要。
傳統(tǒng)連接方案主要依賴于銅纜進行電信號傳輸,用于單機內部計算芯片和設備之間互連。
眾所周知,銅纜在信號完整性、延遲、傳輸距離和功耗等方面存在日益突出的局限,無法滿足PCIe高性能互連系統(tǒng)的需求。
所需要的算力規(guī)模也變得越來越大,萬卡成為算力系統(tǒng)設計的起點,單機內部的PCIe連接已經不能滿足需求,機柜內互連和跨機柜的互連成為新的發(fā)展方向,以實現更高效的數據交換和資源共享。
核心光互連有三種技術
垂直腔面發(fā)射激光器(VCSEL)是整個行業(yè)光學AI互連技術的主力。其低功耗和低成本使其成為數據通信和傳感應用的理想選擇,唯一的限制是它在較短的鏈路距離內運行效果最佳。
電吸收調制激光器(EML)非常適合擴展到更遠距離和數十萬甚至數百萬個單元的AI系統(tǒng)。該技術在非常高的帶寬下提供更好的性能,并且通常是第一個以下一代數據速率實現批量部署的技術。
共封裝光學器件(CPO)是一種將高速硅光子學異質集成到專用集成電路上的先進技術,旨在解決下一代帶寬和功率挑戰(zhàn)。
這項新技術將為未來幾代人工智能系統(tǒng)提供功率和成本領先優(yōu)勢,并支持大規(guī)模人工智能網絡的基礎設施。
英特爾的光互連新方案
英特爾推出的光學計算互連(OCI)芯粒備受矚目。這一尚處于技術原型階段的創(chuàng)新成果,可與CPU、GPU集成,面向數據中心和高性能計算應用。
其顯著優(yōu)勢在于能夠在最長100米的光纖上單向支持64個32Gbps通道,這對于實現可擴展的CPU和GPU集群連接意義重大,極大地提高了帶寬,同時還有助于降低功耗,延長傳輸距離,為加速機器學習工作負載等高性能計算任務提供了有力支撐。
在一些大型數據中心,采用英特爾的OCI芯粒后,數據處理速度大幅提升,原本需要數小時才能完成的復雜數據分析任務,現在可以在更短的時間內完成,大大提高了工作效率。
博通的光互連領域新嘗試
博通在光互連領域也展現出了強大的實力與創(chuàng)新精神。在Hot Chips 2024大會上,博通展示了帶有光學附件的AI計算ASIC,將硅光子學和共封裝光學器件(CPO)技術巧妙融合。
在其新一代的Tomahawk 5Bailly交換機中采用了CPO技術,直接將光學模塊集成到芯片封裝中,不僅顯著減少了系統(tǒng)延遲,還大幅提高了數據傳輸速度和能效。
并且博通采用可插拔激光器的設計策略,提高了系統(tǒng)的可維護性,降低了維護成本,同時通過將計算ASIC與光學模塊和高帶寬內存(HBM)封裝在一起,實現了更高的計算密度和更低的功耗。
在一些高速網絡通信場景中,博通的光互連方案使得網絡延遲降低到微秒級別,為實時視頻會議、在線游戲等對網絡延遲要求極高的應用提供了穩(wěn)定可靠的保障。
巨頭在光互連領域的差異
這些芯片巨頭的光互連新方案既有相似之處,也存在一些差異。
相似之處在于,他們都看到了光互連技術在提升數據傳輸速度、降低功耗、提高帶寬等方面的巨大潛力,并且都在積極將光互連技術與自身的芯片產品或系統(tǒng)進行深度整合,以滿足日益增長的高性能計算和數據中心需求。
然而,在具體的技術實現路徑、集成方式以及應用場景的側重上,又各有千秋。
例如英特爾的OCI芯粒專注于為CPU和GPU集群連接提供解決方案。
博通更強調在交換機等網絡設備中的應用以及可插拔激光器等獨特設計。
總之,芯片巨頭們的光互連新方案正推動著整個芯片行業(yè)朝著更高性能、更低功耗、更高速數據傳輸的方向邁進。
結尾:
創(chuàng)新成果不僅將重塑數據中心和高性能計算的未來格局,也為人工智能、6G、量子計算等前沿領域的發(fā)展奠定了堅實基礎,引領著信息技術進入一個全新的發(fā)展階段。
內容參考來源于:半導體行業(yè)觀察:光互聯,芯片巨頭再出招;半導體行業(yè)觀察:PCIe,新革命;光芯之路:博通的光互連技術;地面通三網互通:光互連和光處理如何改變數據中心