近年 AI 運算需求爆發，大型語言模型、生成式 AI 與高效能運算（HPC）工作負載，需要在短時間內存取海量權重與中間資料，使記憶體頻寬與容量成為系統效能的核心指標。也因此，「資料搬移」逐漸成為半導體產業的瓶頸。在這樣的背景下，台積電所研發的 CoWoS（Chip-on-Wafer-on-Substrate）先進封裝技術與 HBM（High Bandwidth Memory）形成高度共生關係，重新定義 AI 伺服器與高階運算平台的架構。
首先，CoWoS 的最大貢獻在於打破傳統記憶體頻寬瓶頸。過去 CPU 或 GPU 與外部 DRAM 之間依賴封裝外的電路板連接，訊號傳輸距離長、功耗高且頻寬受限。CoWoS 透過矽中介層（interposer），讓邏輯晶片與多顆 HBM 在單一封裝內緊密整合，將資料傳輸距離縮短到毫米等級，大幅提升 I/O 密度與傳輸效率。這種設計讓 AI 加速器能以極高頻寬存取記憶體，成為現代 AI GPU 與加速器的標準配置。隨著大型模型對 KV Cache（鍵值快取）的需求急遽增加，高頻寬與大容量記憶體已從「加分項」變成「必要條件」。
其次，CoWoS 推動了 HBM 技術世代的快速演進。AI 模型參數量持續成長，使單一封裝內的記憶體容量需求不斷攀升，從 HBM2、HBM2e 到 HBM3、HBM3e，堆疊層數與頻寬持續提高。未來 AI 晶片甚至可能整合更多堆疊顆粒，以支援更大模型與更複雜的推論任務。換言之，先進封裝能力已成為決定記憶體規格升級速度的重要因素。
這股需求也改變了整體記憶體市場的供需結構。由於 HBM 屬於高毛利產品，DRAM 製造商將大量產能轉向 HBM 生產，導致傳統 PC 與消費性電子所使用的 DRAM 供給相對收縮。另一方面，CoWoS 產能本身具有高度技術門檻與設備限制，AI 晶片的出貨量受制於先進封裝產能，使 HBM 供不應求的情況可能延續至 2027–2028 年。即使業界持續探索降低記憶體需求的技術，例如優化快取機制或新型資料壓縮方法，對於頂級 AI 運算而言，高頻寬記憶體的地位仍難以被取代。
展望未來，封裝技術仍將持續向更高整合度演進。繼 CoWoS-S、CoWoS-R 與 CoWoS-L 之後，混合鍵合（Hybrid Bonding）被視為下一波關鍵技術，透過更細微的互連間距與更高的 I/O 密度，使記憶體與邏輯晶片幾乎達到「晶片級」的連接。這不僅能進一步降低功耗，也能顯著提升整體系統效能，為下一世代 AI 運算鋪路。
在這樣的產業趨勢下，HBM 不僅是高效能運算的核心元件，也成為良率與可靠度挑戰最嚴峻的記憶體類型之一。堆疊式結構與先進封裝使測試與修復難度大幅提高，如何在出貨前確保記憶體品質與長期可靠度，成為產業競爭的關鍵。芯測科技長期投入記憶體測試與修復技術，並擁有 ISO 26262 TCL1 認證的車規級測試演算法與修復方案，協助晶片在先進封裝與高頻寬架構下維持高良率與高可靠度，成為 AI 時代記憶體品質把關的重要支撐力量。