研調機構Counterpoint Research最新研究指出，未來五年全球預計將有超過1.3億顆用於AI伺服器的GPU與AI ASIC，搭載先進封裝的運算端記憶體（on-compute memory），相關運算市場營收預計接近2兆美元。
隨著AI算力需求快速成長，半導體產業也面臨三項重要技術瓶頸Memory Wall（記憶體牆）、Performance Wall（效能牆）與Copper Wall（銅互連牆）。其中，記憶體頻寬與資料搬移效率對AI加速器效能的影響日益增加，也使先進封裝、HBM及新型記憶體架構受到更多關注。
目前高階AI加速器廣泛採用HBM，並透過先進封裝提升運算晶片與記憶體之間的資料傳輸效率。以TSMC CoWoS為代表的先進封裝技術，已廣泛應用於AI GPU與ASIC。
隨著AI晶片規模持續擴大，傳統HBM搭配矽中介層（Silicon Interposer）的架構，也需要進一步考量成本、封裝厚度、良率、產能及整體製造效率。因此，產業正探索不同技術路線，以縮短運算與記憶體之間的距離，並降低資料搬移所產生的功耗。
Counterpoint Research指出，英特爾（Intel）正透過EMIB、ZAM與XBM等技術探索不同的記憶體與封裝架構。其中，EMIB已進入商用階段，ZAM著眼於HBM4世代的應用機會，XBM則進一步探索未來記憶體介面與晶片整合方式。
目前台積電在大規模製造、技術成熟度及JEDEC標準生態系方面具備既有基礎，而其他新型架構的發展與採用，仍將取決於量產進度、客戶與記憶體供應商支持，以及散熱與系統整合等因素。
除了持續改善HBM與先進封裝，AI晶片業者也開始從系統架構角度探索改善Memory Wall的方法。
高通（Qualcomm）提出的High Bandwidth Compute（HBC）採取不同的設計方向。相較於傳統AI加速器將HBM與XPU配置於矽中介層上，HBC嘗試將運算晶片置於3D堆疊LPDDR記憶體下方，透過Wafer-to-Wafer Bonding，使部分運算功能更接近記憶體。此架構的核心概念在於減少資料在記憶體與運算單元之間的移動，以降低資料傳輸所產生的功耗與延遲。
從封裝角度來看，HBC不需要傳統HBM架構所使用的大型矽中介層，並可能提供不同的記憶體供應與系統設計選擇，另一方面，Wafer-to-Wafer整合也帶來製造、良率與封裝等新的技術要求。
目前HBC仍處於早期發展階段。第一代產品預計於2027年中開始送樣，第二代預計於2028年推出，其實際效能、量產能力及軟體生態系仍有待後續發展與驗證。
Counterpoint Research共同創辦人兼研究副總裁Neil Shah認為，隨著AI模型規模與資料量持續增加，提升AI系統效能將不再僅依賴製程微縮與運算核心擴展，如何提高記憶體頻寬、降低資料搬移，以及改善封裝與互連效率，也將成為下一代AI運算架構的重要發展方向。
目前產業正探索多種技術路線，包括HBM與Hybrid Bonding、台積電CoWoS、Intel EMIB/ZAM/XBM、Qualcomm HBC，以及更長期的3.5D封裝、Chiplet、Co-Packaged Optics（CPO）、玻璃基板與Panel-Level Packaging等。
隨著AI基礎設施持續發展，相關需求也將延伸至記憶體、先進封裝、晶圓代工、基板、互連與光通訊等供應鏈環節。
Neil Shah強調，未來不同架構的發展與採用，將取決於效能、功耗、成本、量產能力及生態系成熟度，而如何改善Memory Wall、Performance Wall與Copper Wall，也將持續影響下一代AI運算平台的技術發展。
