
当AI产业从大型模型训练走向推论与Edge AI部署,芯片设计的重点也开始改变。过去AI芯片竞争集中在算力规模与平行运算能力,如今真正影响系统效率的,往往是芯片内部数据能否被快速、稳定且低功耗地搬移与存取。这也使得AI推论架构中的核心数据流系统──SRAM、Cache与Buffer的重要性快速提升。
其中,SRAM主要负责高速数据暂存与实时运算支持。在AI推论过程中,大量模型权重、中间运算结果与启动数据都需要被反复读写,若完全依赖外部DRAM,不仅延迟增加,功耗也会大幅上升。因此,许多AI加速器与Edge AI处理器都会内建大量SRAM作为本地内存,以维持高吞吐量与低延迟特性。
然而,当SRAM容量与数量持续增加,内存缺陷风险也同步上升。先进制程下常见的弱位、数据保持不稳、读取干扰与电阻性缺陷,可能在高频推论或长时间运作下逐渐放大,进一步影响AI模型稳定性与整体DPPM表现。
除了SRAM之外,Cache架构也正快速成为AI芯片设计核心。AI运算与传统CPU工作负载最大的差异之一,在于数据重复利用率极高。同一组模型权重与特征数据,可能在短时间内被大量运算单元重复存取。若Cache效率不足,系统便需要频繁回读外部内存,不仅拖慢推论速度,也会增加功耗与带宽压力。
因此,许多AI SoC开始导入多层式Cache、共享Cache与分布式Cache架构,希望提升数据重复利用效率。但随着Cache结构日益复杂,数据一致性、时序变异与存取稳定性问题也更加明显。特别是在高温、低电压或长时间AI运作情境下,Cache可靠度已逐渐成为影响AI系统稳定性的关键因素之一。
与此同时,Buffer受到的重视也日趋显著。AI推论过程涉及大量数据流调度,不同运算模块之间需要持续进行数据交换与同步,因此Buffer架构会直接影响整体数据流效率。从input buffer、weight buffer到feature buffer,Buffer除了是暂存空间,更负责平衡不同运算节点间的数据流速率。
若Buffer设计或质量不稳定,容易产生数据壅塞、时序错配或数据遗失问题,进而影响整体吞吐量。尤其在Edge AI与实时推论应用中,Buffer延迟与稳定性更直接关系到系统反应速度与实时性。
当AI芯片中的SRAM、Cache与Buffer规模同步成长,内存测试与修复策略也必须进一步升级。传统固定式内存测试流程,已难以全面对应不同内存架构与AI工作负载行为。
针对这类需求,芯测科技(iSTART-TEK)推出的MART、UDA与TEC技术,正提供更具弹性与客制化能力的SRAM测试架构。
MART(MBIST Algorithm Recommendation Tool)是一套AI驱动的算法分析系统,可根据应用类型、DPPM目标、功耗、效能与面积限制,协助使用者快速筛选适合的SRAM测试算法。,可有效简化算法选择流程与测试规划难度。
UDA(User-Defined Algorithms)则提供类似积木概念的平台架构,让使用者能自行定义基础测试元素,并组合成不同的内存测试算法。透过模块化方式,工程师可依不同SRAM、Cache与Buffer特性,建立更符合产品需求的测试流程,提升测试弹性与缺陷覆盖能力。
TEC(Testing Elements Change)可让测试工程师在CP与FT阶段,依据不同测试环境重新调整或组合SRAM测试算法。由于SoC测试常涉及极端电压与温度条件,不同环境可能对应不同内存缺陷型态,TEC可协助工程师快速客制化测试元素,建立更符合特定需求的替代算法。
当AI产业开始进入大规模推论与长时间运作时代,SRAM、Cache与Buffer已不再只是配角,而是决定AI芯片效能、功耗、良率与可靠度的核心基础。未来AI芯片的竞争,也将越来越取决于Memory subsystem本身的质量与测试能力。