近來NVIDIA 併購 Groq 的消息引發高度討論，TPU、LPU、NPU 等各類 AI 專用處理器再次成為焦點。無論是雲端資料中心、邊緣 AI，或車用與工業應用，運算架構正快速從通用 CPU，轉向為特定工作負載量身打造的加速器。然而在這些名稱各異、定位不同的處理器背後，卻有一個共同且關鍵的核心——SRAM。
TPU、LPU、NPU的共通基礎
TPU、LPU、NPU 的設計目標雖不相同，但皆高度聚焦於高吞吐量、低延遲與能效比。在實際架構中，大量的權重資料、特徵圖與中間運算結果，都必須被反覆且高速地存取。相較於 DRAM，SRAM 具備低延遲、高頻寬與可預測時序的特性，因此成為這類 AI 加速器中最不可或缺的記憶體元件。
在 TPU 中，SRAM 常被用於大型 on-chip buffer，以支援矩陣運算的資料重用；在強調低延遲推論的 LPU 架構中，SRAM 更是決定即時反應能力的關鍵；而在各式 NPU 設計裡，SRAM 的容量配置、存取並行度與可靠度，往往直接影響整體 AI 效能與功耗表現。
從「記憶體輔助運算」走向「記憶體即運算」
當 AI 模型規模持續放大，資料在運算單元與記憶體之間搬移所消耗的能量，已成為效能與功耗的主要瓶頸。這正是 Computing-In-Memory（CIM）架構受到高度關注的原因。CIM 的核心概念，是將部分運算直接在記憶體陣列中完成，藉此大幅降低資料搬移次數，突破傳統馮紐曼架構的限制。
對於本就大量依賴 SRAM 的 TPU、LPU、NPU 而言，在特定運算場景下導入 SRAM-based CIM，是目前被廣泛認為有必要的演進路線之一。透過在 S RAM 內部或周邊電路中整合運算能力，AI 加速器得以在維持高可靠度的同時，顯著提升能效比，這也使 CIM 成為下一世代 AI 晶片的重要關鍵技術之一。
CIM不只是效能 更關乎可靠與安全
CIM 架構所面臨的設計挑戰，並不僅止於效能。記憶體本身的變異性、老化效應，以及運算與儲存耦合後所帶來的測試與驗證難度，都讓 SRAM 的測試與修復能力變得前所未有的重要。特別是在車用與關鍵基礎設施等高可靠度應用中，CIM 若無完善的測試與修復機制，將難以真正量產與導入。
另一方面，後量子時代的資安需求，也讓 AI 與加密運算的結合日益緊密。能否在低功耗條件下，高效執行新一代密碼演算法，正成為智慧裝置與車用系統的重要課題。
AI運算趨勢下必備的記憶體技術
在這樣的趨勢下，攸關TPU、LPU、NPU 效能與成本的SRAM品質，以及CIM架構逐漸成為突破資料搬移瓶頸的重要方向。芯測科技長期深耕的 SRAM測試與修復領域，以及CIM架構的研發，將可成為推動技術突破的關鍵引擎。
芯測致力於提供各類記憶體之測試與修復專用 EDA 工具與 IP，並針對授權客戶，提供涵蓋後端流程的一站式設計服務。近年來芯測更積極投入CIM架構的研發，重新定義 AI 運算的能效極限。 目前正在開發的 SRAM-based CIM 架構，具備 8-bit 運算精度與極低功耗，並具備良好延展性，可進一步支援 RRAM 架構設計，以滿足不同應用場景的需求。
面對量子時代帶來的資安挑戰，芯測亦率先導入格點密碼與 NTT 運算優化技術，透過 CIM 架構加速後量子密碼演算法，為智慧裝置與車用系統提供長效且穩固的安全保障。 除了 CIM 架構本身的開發，芯測科技同時也提供 CIM 的測試電路開發環境，讓先進記憶體運算技術不僅能「算得快」，更能「測得準、用得久」。在 TPU、LPU、NPU 持續演進的浪潮中，芯測科技以深厚的 SRAM 技術底蘊，成為推動 CIM 與 AI 晶片走向高效、可靠與節能的重要力量。