
生成式 AI 與大型語言模型快速發展,使「算力」長期被視為產業核心,而市場也持續聚焦在 GPU。然而,當 AI 應用從模型訓練走向大規模推論、從雲端延伸至邊緣裝置、並進一步演進為 AI Agent 與多模型協作架構時,系統瓶頸正逐步轉移。AI 產業正從 GPU-centric 架構,走向 CPU+GPU+記憶體協同運算的新階段。
在推論與 AI Agent 的情境下,系統複雜度顯著提升。CPU 負責任務排程、邏輯控制與資料前處理,GPU 承擔模型推論核心運算,而記憶體則成為資料與模型狀態流動的關鍵節點。AI Agent 需要持續呼叫工具、維持短期與長期記憶、並進行多步驟推理,使整體運作更接近「系統工程」。
在這樣的架構中,資料搬移成本快速上升,逐漸成為效能瓶頸。模型權重與中間特徵需頻繁在 CPU、GPU 與各類加速器間流動,而推論結果也需即時回寫與整合。當模型規模與 agent 任務複雜度同步提升時,記憶體頻寬、延遲與快取效率,成為決定系統吞吐與使用者體驗的關鍵因素。
因此,記憶體正從支援角色轉變為核心關鍵。無論是 HBM、LPDDR,或是處理器內部的 SRAM 與 Cache,都構成 AI 系統效能的底層基礎。特別是在 AI SoC 中,SRAM 不僅負責高速暫存,更直接影響延遲、能耗與整體運算效率,使記憶體設計逐漸成為與運算單元同等重要的競爭維度。
然而,隨著記憶體在晶片中的比重提升,其可靠度問題也同步放大。製程變異、老化效應與工作負載壓力,都可能導致 SRAM fault 或隱性錯誤累積,使得「可測試性」與「可修復性」成為 AI 晶片量產與長期運行的關鍵能力;這也是芯測科技長期專注地技術領域。
芯測科技聚焦於 AI 處理器內部記憶體的完整解決方案,透過 MBIST 與 MBISR 架構,結合 UDA(User-Defined Algorithms)提升故障診斷效率與覆蓋率,使記憶體問題能及早被精準定位並修復,降低後段風險與 field failure 機率。
同時,芯測科技的 MART(MBIST Algorithm Recommendation Tool)進一步將記憶體測試與修復流程智慧化,可依不同記憶體型態、缺陷特徵與應用場景,自動推薦最佳測試與修復策略,提升測試效率並縮短開發週期。在 AI 晶片高度客製化與快速迭代的趨勢下,這類工具化能力正成為提升量產效率的重要基礎。
整體而言,AI 基礎建設的競爭已不再只是 GPU 算力的比拚,而是轉向 CPU、GPU 與記憶體協同效率的系統級競爭。當運算架構走向高度整合與異質化,記憶體的穩定性與可修復性將直接影響 AI 系統的規模化能力與可靠度。在這樣的產業轉折點上,記憶體測試與修復技術,已成為支撐 AI 時代持續擴張的重要基礎。