从TPU、LPU、NPU到CIM：为何先进AI计算都离不开SRAM？

近来NVIDIA 并购 Groq 的消息引发高度讨论，TPU、LPU、NPU 等各类 AI 专用处理器再次成为焦点。无论是云端数据中心、边缘 AI，或车用与工业应用，计算架构正快速从通用 CPU，转向为特定工作负载量身打造的加速器。然而在这些名称各异、定位不同的处理器背后，却有一个共同且关键的核心——SRAM。

TPU、LPU、NPU的共通基础
TPU、LPU、NPU 的设计目标虽不相同，但皆高度聚焦于高吞吐量、低延迟与能效比。在实际架构中，大量的权重数据、特征图与中间计算结果，都必须被反复且高速地存取。相较于 DRAM，SRAM 具备低延迟、高带宽与可预测时序的特性，因此成为这类 AI 加速器中最不可或缺的内存组件。
在 TPU 中，SRAM 常被用于大型 on-chip buffer，以支持矩阵计算的数据重用；在强调低延迟推论的 LPU 架构中，SRAM 更是决定实时反应能力的关键；而在各式 NPU 设计里，SRAM 的容量配置、存取并行度与可靠度，往往直接影响整体 AI 效能与功耗表现。

从「内存辅助计算」走向「内存即计算」
当 AI 模型规模持续放大，数据在计算单元与内存之间搬移所消耗的能量，已成为效能与功耗的主要瓶颈。这正是 Computing-In-Memory（CIM）架构受到高度关注的原因。CIM 的核心概念，是将部分计算直接在内存数组中完成，藉此大幅降低数据搬移次数，突破传统冯纽曼架构的限制。
对于本就大量依赖 SRAM 的 TPU、LPU、NPU 而言，在特定计算场景下导入 SRAM-based CIM，是目前被广泛认为有必要的演进路线之一。透过在 S RAM 内部或周边电路中整合计算能力，AI 加速器得以在维持高可靠度的同时，显著提升能效比，这也使 CIM 成为下一世代 AI 芯片的重要关键技术之一。

CIM不只是效能 更关乎可靠与安全
CIM 架构所面临的设计挑战，并不仅止于效能。内存本身的变异性、老化效应，以及计算与储存耦合后所带来的测试与验证难度，都让 SRAM 的测试与修复能力变得前所未有的重要。特别是在车用与关键基础设施等高可靠度应用中，CIM 若无完善的测试与修复机制，将难以真正量产与导入。
另一方面，后量子时代的资安需求，也让 AI 与加密计算的结合日益紧密。能否在低功耗条件下，高效执行新一代密码算法，正成为智能装置与车用系统的重要课题。

AI计算趋势下必备的内存技术
在这样的趋势下，攸关TPU、LPU、NPU 效能与成本的SRAM质量，以及CIM架构逐渐成为突破数据搬移瓶颈的重要方向。芯测科技长期深耕的 SRAM测试与修复领域，以及CIM架构的研发，将可成为推动技术突破的关键引擎。
芯测致力于提供各类内存之测试与修复专用 EDA 工具与 IP，并针对授权客户，提供涵盖后端流程的一站式设计服务。近年来芯测更积极投入CIM架构的研发，重新定义 AI 计算的能效极限。 目前正在开发的 SRAM-based CIM 架构，具备 8-bit 计算精度与极低功耗，并具备良好延展性，可进一步支持 RRAM 架构设计，以满足不同应用场景的需求。
面对量子时代带来的资安挑战，芯测亦率先导入格点密码与 NTT 计算优化技术，透过 CIM 架构加速后量子密码算法，为智能装置与车用系统提供长效且稳固的安全保障。 除了 CIM 架构本身的开发，芯测科技同时也提供 CIM 的测试电路开发环境，让先进内存计算技术不仅能「算得快」，更能「测得准、用得久」。在 TPU、LPU、NPU 持续演进的浪潮中，芯测科技以深厚的 SRAM 技术底蕴，成为推动 CIM 与 AI 芯片走向高效、可靠与节能的重要力量。