如果要替今年 SEMICON Taiwan Memory Executive Summit 找一個最有份量的註腳，可能不是來自任何一家記憶體廠，而是 Google。

Google 在演講中直接指出，隨著 AI 應用的發展，Memory 已成為其 Compute Server BOM 的Leading Cost Driver；更大的問題是，當昂貴的運算精品因為記憶體資源不足而閒置時，浪費的是數千億美元等級的運算資本支出。

而對於記憶體瓶頸，Google 給出的解法是在今年同時推出分別針對 Training 與 Inference 最佳化的 TPU v8t 與 TPU v8i，分別各自處理截然不同的 Workload，而這兩款晶片設計的最大不同就是記憶體的配置。

過去 Google 做 Custom Silicon，主要是在 Compute Architecture 上做 Differentiation：針對不同Workload 設計自己的 TPU，讓運算效率與整體 TCO 更適合自身需求。現在可以看到，這種Differentiation 正進一步延伸到Memory。

Google 今年針對Training 與Inference 推出不同定位的 TPU，其中一個很重要的差異就是 Memory Configuration。因此記憶體不再只是提供更高Bandwidth的標準配套，而開始成為晶片架構本身的差異化來源。

這也是今年 Memory Summit 最值得觀察的變化：AI 不只是需要更多 Memory，而是在重新定義 Memory。

接下來我們就來聊一下這次我們觀察到的一些記憶體發展的變化。

Memory bottleneck 的擴張：從Bandwidth到Bandwidth、Capacity & Energy Efficiency

過去幾年談 AI Memory 或 Memory wall，最核心的問題是 bandwidth；不過，接下來的問題則會同時包含Bandwidth、Capacity 與Energy Efficiency。

主要原因是 AI 應用正從過去較短的Chatbot Query-Response，轉向 Long-Running、Multi-Agent 的形式；而在Model 架構方面，目前的主流大模型走向更大規模的 Mixture of Expert (MoE) 架構。

這些改變使得 Memory 從過去主要隨 Model size 增加的「固定 Working set」，變成會隨使用者數、Context 長度、對話輪數與 Agent 數量持續成長的動態資源需求。

Capacity：更大的 MoE model 需要讓大量Expert Weights 常駐Memory；另一方面，AI agent 以更高的速度產生Token，並隨Context、Concurrency 與Multi-Turn Interaction 持續累積更多的 KV Cache。當 Model Weights、KV Cache 持續膨脹，Capacity 將開始直接限制可承載的模型規模（代表模型智慧）與同時在線的服務量（代表服務品質）。

Energy Efficiency 則來自兩件事的疊加。第一，搬資料的能量遠大於運算本身，且能量正比於距離；第二，Agentic 的本質是更大量 Decode，它使的每個 Token 都需要反覆搬動更多 Weights、KV cache 與 Intermediate state，Data Movement 的總能源成本便快速放大，同時 MoE 更進一步壓低運算強度 (單位資料搬運的運算量更低)。

因此，未來的 AI 系統對 Memory 的要求，不再只是把既有的Bandwidth Wall 推得更高，而是同時需要考慮Capacity 與Power 兩個 System-Level Constraints。

AI Workload 多元化 → AI 正重新設計整個 Memory Hierarchy

Long context、MoE、RAG 與 Agentic AI 等應用帶來的，不只是更多資料，而是更多不同型態的資料與存取模式。然而，沒有任何一種記憶體能同時滿足多元的資料存取模式，又能克服Bandwidth、Capacity 與Energy 三個約束，因此 AI system 的解法就是把不同型態的資料，放到最適合它的那一層，也就是Memory Hierarchy。

Memory Hierarchy 從過去依速度與成本排列的單一軸線，轉為依資料的生命週期與存取模式分層 —— 層數更多，也更異質。

關鍵在於，把資料下放到較低的層級並不是效能上的妥協，而是在不犧牲服務品質的前提下，換到更低的成本與更低的每 bit 能耗。

於是，重新設計沿著兩個層次同時發生：

1. 系統層：更細緻、異質的分層。在Package 上補上新的中間層；在 Rack 尺度上建立共享層
2. 元件層：更多針對特定 AI workload 設計的記憶體型態。過去發生在Compute 的Workload Specialization，也開始在Memory 發生

Custom HBM、zHBM、HBF、High-IOPS SSD 看似是彼此不同的技術路線，但背後其實反映同一個變化是Memory 正從標準化的零組件，逐漸變成AI system architecture 的設計中心。

以下，就依照記憶體的發展Roadmap，逐層拆解正在發生的變化。

HBM -> Custom HBM

因為記憶體頻寬需求的原因，HBM的需求很強勁。不過，持續堆疊下去的物理極限明顯，也讓人好奇其可持續性。

因此，Custom HBM的發展也應運而生。

Custom HBM 的關鍵變化是最底下的 base die 進化成使用先進製程製造。這使得 base die 從單純的「介面」變成「可以放功能的可程式化區域」。這樣的設計，使得不見得所有的計算都要先搬出HBM，到XPU上算完，再搬回來。有些運算可以直接在Base Die上簡單算完。

Base Die的設計＋I/O腳位從1024變成2048，大幅的增加了其等效頻寬。

這同時改變了記憶體能做什麼，以及記憶體廠賣的是什麼。

Base die 目前看到三種用法：

1. 資料搬運前的簡單計算，提高單位時間有效資料傳輸量
2. 傳輸介面 (HBM PHY → D2D) 本身面積變小，讓出更多面積給運算單元
3. Base die 的更多面積拿來塞入更多除錯等等 function

這會改寫記憶體廠的價值。

過去記憶體廠比的是製程微縮、良率、封裝堆疊層數；現在要做Custom HBM，必須具備與Foundry 的合作、和客戶一起定義規格的能力。因為Base Die 要放什麼功能，很大程度取決於客戶的Workload 長什麼樣子。

一旦記憶體規格是與客戶Workload 定義的，則記憶體的商業模式有望往更多的設計與客製化價值傾斜。這對記憶體產業的週期性可能是重要的結構變化。

同時，cHBM 也可以視為 3D Stacking Memory 的前置作業：先從先進製程的Base Die 整合開始獲得Logic-Memory 整合的經驗曲線，未來可以把整顆Logic進一步整合放到 DRAM 底下。

3D-Stacked Memory

這大概是本次Memory 論壇最激進，但也能體現未來方向的一條技術路線。

搬資料的能量正比於距離。今天的 2.5D 架構裡，HBM 與 XPU 並排放在 interposer 上，資料的傳輸必須耗費 3 pJ/bit。若改成把 DRAM 直接疊在運算晶片正上方，資料只需要垂直穿過細小的 TSV，能耗可以降到約 0.3 pJ/bit，同時因為擺脫了晶片邊緣 (beachfront) 能容納的接點數量限制，bandwidth 可以提高約 10 倍。

3D-Stacked Memory 是目前少數能同時有效解決Bandwidth與Energy Efficiency 的路線，然而，3D-Stacked Memory 的發展還有許多挑戰需要克服：

1. 散熱：DRAM 本身怕熱，如何放在高功耗的XPU 上，這點至關重要。
2. 供電：電流必須穿過運算晶片送到上面的 DRAM 堆疊，怎麼設計才好，還沒有一個明確的方案。
3. 整合與良率：要達到所需的 I/O 密度需要更小的 TSV 與更細的 Hybrid bonding 線寬。

綜合以上，我們認為 G0.5 更像是未來的展望，短期還不會那麼快實現，因為還有許多製程挑戰甚至是系統的共同重新設計需要被克服。

HBF (High Bandwidth Flash)

雖然稱之為 “High Bandwidth” Flash，但實際上 HBF 主要解的是 Capacity。

它主要用在特定的應用場景如「大資料、多讀少寫」的工作，而非取代 HBM 的選項。在現在的 AI workload 中，HBM 的高頻寬與低延遲仍舊是非常主流的記憶體需求。

具體而言，HBF 非常適合用在裝 MoE experts 與 Pre-computed KV cache 的狀況，正好與目前的 AI 應用發展不謀而合，是一個很有潛力的應用。

現在Sandisk有建立一個前沿AI實驗室，正在測試各種不同的情境下，HBF帶來的好處。我們可以看到許多 demo 顯示，HBF+HBM 的混合系統，可以有比純 HBM 或純 HBF 系統更好的效能表現。這進一步證明，AI workload 在特化的記憶體設計下，可以有更好的性能價格比。

High-IOPS (Input/Output Operations Per Second) SSD

AI SSD 正在分岔成兩種不同的產品路線。一種是 for KV Cache Offload 的大容量 SSD，另一種則是 for Vector Database 讀取的 High-IOPS SSD。

傳統 NAND SSD 最擅長的是大容量、Large-Grain Data Transfer；但 Vector Search、Predictive AI 等應用，需要的反而是大量Fine-Grained Random Access。

High-IOPS SSD 概念是將 NAND 本身重新設計，希望把 SSD 從目前數百萬 IOPS 推向約100M IOPS 等級。

High-IOPS SSD 是一個 Memory 針對 AI workload 重新設計的完美範例。我們可以從這邊觀察到一個清晰的訊號：AI 過去推動了Compute Specialization；現在同樣的Specialization正開始發生在 Memory與Storage。

Conclusion：從 Compute-Centric 走向 Memory-Constrained

把上述發展放在一起看，可以觀察到：AI System的設計發展，正在從Compute大幅移到Memory。

如果Memory 只是一個標準化元件，那Memory Vendor 的任務就是把 Memory 做得更密、更快、更便宜。

但當Memory開始需要考慮Workload、需要被重新設計，甚至Memory 本身開始帶有Workload-Specific Function，那麼Memory的層級就從元件變成了整體的系統架構。這也是這次 Memory Summit 最值得注意的巨觀變化。