近年 AI 运算需求爆发，大型语言模型、生成式 AI 与高效能运算（HPC）工作负载，需要在短时间内存取海量权重与中间数据，使内存带宽与容量成为系统效能的核心指针。也因此，「数据搬移」逐渐成为半导体产业的瓶颈。在这样的背景下，台积电所研发的 CoWoS（Chip-on-Wafer-on-Substrate）先进封装技术与 HBM（High Bandwidth Memory）形成高度共生关系，重新定义 AI 服务器与高阶运算平台的架构。
首先，CoWoS 的最大贡献在于打破传统内存带宽瓶颈。过去 CPU 或 GPU 与外部 DRAM 之间依赖封装外的电路板连接，讯号传输距离长、功耗高且带宽受限。CoWoS 透过硅中介层（interposer），让逻辑芯片与多颗 HBM 在单一封装内紧密整合，将数据传输距离缩短到毫米等级，大幅提升 I/O 密度与传输效率。这种设计让 AI 加速器能以极高带宽存取内存，成为现代 AI GPU 与加速器的标准配置。随着大型模型对 KV Cache（键值快取）的需求急遽增加，高带宽与大容量内存已从「加分项」变成「必要条件」。
其次，CoWoS 推动了 HBM 技术世代的快速演进。AI 模型参数量持续成长，使单一封装内的内存容量需求不断攀升，从 HBM2、HBM2e 到 HBM3、HBM3e，堆栈层数与带宽持续提高。未来 AI 芯片甚至可能整合更多堆栈颗粒，以支持更大模型与更复杂的推论任务。换言之，先进封装能力已成为决定内存规格升级速度的重要因素。
这股需求也改变了整体内存市场的供需结构。由于 HBM 属于高毛利产品，DRAM 制造商将大量产能转向 HBM 生产，导致传统 PC 与消费性电子所使用的 DRAM 供给相对收缩。另一方面，CoWoS 产能本身具有高度技术门坎与设备限制，AI 芯片的出货量受制于先进封装产能，使 HBM 供不应求的情况可能延续至 2027–2028 年。即使业界持续探索降低内存需求的技术，例如优化快取机制或新型数据压缩方法，对于顶级 AI 运算而言，高带宽内存的地位仍难以被取代。
展望未来，封装技术仍将持续向更高整合度演进。继 CoWoS-S、CoWoS-R 与 CoWoS-L 之后，混合键合（Hybrid Bonding）被视为下一波关键技术，透过更细微的互连间距与更高的 I/O 密度，使内存与逻辑芯片几乎达到「芯片级」的连接。这不仅能进一步降低功耗，也能显著提升整体系统效能，为下一世代 AI 运算铺路。
在这样的产业趋势下，HBM 不仅是高效能运算的核心组件，也成为良率与可靠度挑战最严峻的内存类型之一。堆栈式结构与先进封装使测试与修复难度大幅提高，如何在出货前确保内存质量与长期可靠度，成为产业竞争的关键。芯测科技长期投入内存测试与修复技术，并拥有 ISO 26262 TCL1 认证的车规级测试算法与修复方案，协助芯片在先进封装与高带宽架构下维持高良率与高可靠度，成为 AI 时代内存质量把关的重要支撑力量。