
过去几年,AI芯片产业的竞争焦点几乎完全围绕在GPU算力。从大型语言模型训练到高效能推论,市场普遍认为「更多GPU」等同于「更强的AI能力」。但随着AI应用从单纯的内容生成(generation)逐步迈向自主执行(autonomous action),产业对运算架构的需求正在发生明显变化。
AI Agent的兴起,即是这波转变的核心。与传统生成式AI不同,AI Agent不只是根据提示产出文字或影像,更具备理解任务、规划流程、呼叫工具、存取资料并根据结果持续修正行为的能力。换句话说,AI开始从「回答问题」进化为「完成任务」。
这类架构带来的最大改变,是运算瓶颈不再只集中在GPU。在AI Agent工作流程中,模型推论虽然仍高度依赖GPU或AI加速器,但任务拆解、工具与API呼叫、数据撷取、多代理协作,以及结果评估与回馈等流程,更多仰赖CPU进行控制与调度。CPU因此重新成为AI系统中的控制层,负责管理不同模块之间的数据流与执行顺序。
这代表未来AI系统不再是单一加速器主导,而是GPU、CPU与Memory共同决定整体效能。其中内存的重要性正在快速提升。AI Agent需要持续读取上下文、存取外部知识库、维护短期与长期记忆,并在多步骤任务中反复交换数据。这使得数据搬移成本与内存延迟成为关键瓶颈。即使GPU算力足够,若CPU与内存子系统无法快速供应数据,整体吞吐量仍会受到限制。
因此产业开始重新关注内存阶层设计,包括高速缓存(cache)、内嵌式SRAM、高带宽内存(HBM)、DDR,以及各类缓冲存储器架构的优化。
尤其在AI处理器内部,SRAM的重要性更加明显。相较于外部内存,SRAM具备低延迟、高带宽的特性,适合用于快取、暂存缓冲区,以及中间运算数据储存。在大量Agent协作与实时决策场景中,这些高速内存资源直接影响推论效率与功耗表现。
但随着先进制程持续微缩,SRAM也面临更高的可靠度挑战。位单元缩小后,制程变异、稳定性余裕下降,以及软错误风险增加,都可能提高内存失效率。对高可靠度AI系统而言,即使单一内存单元出现微小缺陷,也可能导致模型推论异常、数据错误,甚至系统决策失准。这使内存质量管理从过去的制造环节,逐渐升级为AI系统设计中的关键能力。
在这样的趋势下,Memory BIST(内存内建自我测试)与BISR(内建自我修复)的价值正在提高。BIST可协助芯片在测试阶段快速找出内存缺陷,BISR则可透过备援列或备援栏修复失效单元,提高良率与可用性。
除了找出错误,工程团队需要更精准分析失效模式、定位失效根因,并优化修复策略,以降低测试成本并提升量产质量。这也是内存测试工具持续进化的方向。
以芯测科技为例,其技术布局已从传统 Memory BIST/BISR 工具延伸至更完整的内存质量管理平台,涵盖算法推荐、自适应测试、诊断分析与修复优化等能力。例如,MART(MBIST Algorithm Recommendation Tool)可根据不同内存架构与潜在失效模式,自动推荐更适合的测试算法,提升缺陷覆盖率;UDA(User-Defined Algorithm)则让工程团队能依照特定产品需求客制化测试流程,提高测试弹性。搭配 TEC(Test Execution Control)动态控制测试策略,可进一步平衡测试时间与覆盖率,降低量产测试成本。
在失效分析阶段,Diagnosis技术可协助快速定位故障位、解析失效模式,帮助工程团队找出根因;Repair则透过更智能化的备援配置分析,提升修复成功率与芯片良率。对于内建大量 SRAM、快取与多层内存架构的 AI 处理器而言,这类从测试、诊断到修复的完整能力,可协助开发者在设计与量产阶段更早发现潜在内存风险,并提升芯片在高负载运作下的稳定性、可靠度与整体生产质量。
当AI产业正式迈向Agent时代,竞争焦点将转向整体系统能否稳定,以及高效完成复杂任务。CPU的重要性回升、Memory瓶颈浮现,也意味着半导体产业的价值链正在重新分配。
未来真正具竞争力的AI芯片,不只需要强大的运算能力,更需要高质量、高可靠度的内存架构作为支撑。谁能有效解决内存挑战,谁就更有机会在下一波AI竞赛中取得优势。