AI記憶體牆逼近極限,光學互連成下一代GPU關鍵

(1)現象:隨著AI模型規模快速擴張,半導體產業正面臨「記憶體牆(Memory Wall)」問題。業界近期開始積極討論新一代AI晶片架構,計畫將GPU或ASIC運算晶片與HBM高頻寬記憶體分離封裝,再透過光學互連技術進行高速傳輸,以突破現有封裝與頻寬限制。目前HBM堆疊層數已從12層、16層逐步邁向20層以上,但在2.5D封裝架構下,GPU周邊可放置HBM的空間已逐漸耗盡。即使HBM持續升級,仍難以滿足AI伺服器對超大頻寬與容量的需求。包括Celestial AI等公司,已在2025年Hot Chips大會展示晶片間光學互連技術,顯示光子傳輸正逐漸從概念進入實際研發階段。
(2)原因:生成式AI與大型語言模型對資料吞吐量需求暴增,使GPU效能提升速度遠超過記憶體供應能力,形成所謂「記憶體牆」。過去HBM主要依靠垂直堆疊增加容量,但隨著層數持續提高,散熱、良率與封裝複雜度同步急遽上升,已逐漸接近物理極限。因此業界開始轉向「分離式架構」,讓HBM不再緊貼GPU,而是透過光訊號進行高速傳輸。由於光學傳輸具備低延遲、高頻寬與低功耗優勢,可大幅擴充HBM配置數量,同時降低電氣訊號瓶頸。其次,AI資料中心功耗問題日益嚴重,光學互連也被視為降低能源消耗的重要技術方向,未來有機會與矽光子、CPO共同封裝光學技術整合發展。
(3)影響:AI半導體產業競爭正從單純GPU算力,進一步延伸至「記憶體+封裝+高速傳輸」的整體架構競賽。未來AI伺服器將大幅增加對先進封裝、矽光子、CPO、光通訊與高速材料的需求,推動半導體供應鏈進入新一輪技術升級週期。值得注意的是,光學互連若正式落地,可能改變現有GPU與HBM封裝模式,帶動AI晶片設計、主板架構與資料中心布建全面重構。不過,晶片級光學元件仍面臨微縮化、良率與成本等技術挑戰,距離大規模商用仍需時間,但市場普遍認為方向已相當明確。
(4)受影響股票:聯亞(3081)
上詮(3363)
波若威(3163)
眾達-KY(4977)
光聖(6442)
華星光(4979)
聯鈞(3450)
創威(6530)
