
生成式 AI 与大型语言模型快速发展,使「算力」长期被视为产业核心,而市场也持续聚焦在 GPU。然而,当 AI 应用从模型训练走向大规模推论、从云端延伸至边缘装置、并进一步演进为 AI Agent 与多模型协作架构时,系统瓶颈正逐步转移。AI 产业正从 GPU-centric 架构,走向 CPU+GPU+内存协同运算的新阶段。
在推论与 AI Agent 的情境下,系统复杂度显著提升。CPU 负责任务排程、逻辑控制与数据前处理,GPU 承担模型推论核心运算,而内存则成为数据与模型状态流动的关键节点。AI Agent 需要持续呼叫工具、维持短期与长期记忆、并进行多步骤推理,使整体运作更接近「系统工程」。
在这样的架构中,数据搬移成本快速上升,逐渐成为效能瓶颈。模型权重与中间特征需频繁在 CPU、GPU 与各类加速器间流动,而推论结果也需实时回写与整合。当模型规模与 agent 任务复杂度同步提升时,内存带宽、延迟与快取效率,成为决定系统吞吐与用户体验的关键因素。
因此,内存正从支持角色转变为核心关键。无论是 HBM、LPDDR,或是处理器内部的 SRAM 与 Cache,都构成 AI 系统效能的底层基础。特别是在 AI SoC 中,SRAM 不仅负责高速暂存,更直接影响延迟、能耗与整体运算效率,使内存设计逐渐成为与运算单元同等重要的竞争维度。
然而,随着内存在芯片中的比重提升,其可靠度问题也同步放大。制程变异、老化效应与工作负载压力,都可能导致 SRAM fault 或隐性错误累积,使得「可测试性」与「可修复性」成为 AI 芯片量产与长期运行的关键能力;这也是芯测科技长期专注地技术领域。
芯测科技聚焦于 AI 处理器内部存储器的完整解决方案,透过 MBIST 与 MBISR 架构,结合 UDA(User-Defined Algorithms)提升故障诊断效率与覆盖率,使内存问题能及早被精准定位并修复,降低后段风险与 field failure 机率。
同时,芯测科技的 MART(MBIST Algorithm Recommendation Tool)进一步将内存测试与修复流程智能化,可依不同内存型态、缺陷特征与应用场景,自动推荐最佳测试与修复策略,提升测试效率并缩短开发周期。在 AI 芯片高度客制化与快速迭代的趋势下,这类工具化能力正成为提升量产效率的重要基础。
整体而言,AI 基础建设的竞争已不再只是 GPU 算力的比拚,而是转向 CPU、GPU 与内存协同效率的系统级竞争。当运算架构走向高度整合与异质化,内存的稳定性与可修复性将直接影响 AI 系统的规模化能力与可靠度。在这样的产业转折点上,内存测试与修复技术,已成为支撑 AI 时代持续扩张的重要基础。