在2022年年底ChatGPT發佈後，對整個半導體市場產生了衝擊性的影響。從那個時候開始，AI晶片的設計加速了它的變化。

過去，Moore’s Law每2~2.5年翻倍電晶體密度，而基本上電晶體密度的提升就是主要算力提昇的來源。但是，從大語言模型爆發以後，我們可以感受到，整個晶片設計方式產生了很大的變化，算力產生的邏輯有了一個很大的典範轉移。

你可以發現，這幾年大家對半導體產業的討論，有著很大的變化。從電晶體層級的討論，到更多先進封裝、不同類型記憶體、甚至雷射、光通波導設計……等的討論。

那麼，為什麼會這樣呢？原因不是先進製程不再進步了，而是因為運算的硬體單位範圍徹底改變了。

這幾年發生了什麼重大的變化？

半導體產業的典範轉移: AI-Silicon Co-Evolution

首先，我們可以觀察到，AI晶片的設計的趨勢發生了三個主要的變化：

1. 晶片設計的單位不再是以單顆晶片為單位，而是以整個Rack，甚至於資料中心為單位。
2. 整個Rack、資料中心所有晶片及軟硬體的共同優化，提供了比電晶體密度提昇更快速的算力成長。
3. AI模型的演進，會是影響硬體設計的關鍵因子。AI模型現在正在持續快速演化，而AI模型的演化會驅動AI晶片設計的演化。

因為上述三點的關係，其實我們觀察到，整個半導體產業和供應鏈正在發生劇烈的變化。我們可以預期接下來的半導體硬體設計和供應鏈還會持續有很大的變化。

具體的現象我們可以觀察到的：包含目前記憶體的設計正在快速演化、AI Rack的設計每一代都還在快速的演進，或是CPO生態系目前的快速成長，都是源自於目前正在發生的典範轉移。

因此，我們可以看到AI硬體整體技術和供應鏈的瓶頸正在移動當中，就是因為AI模型除了在持續變大外，在演算法上也在持續的變化。

AI模型正在驅動晶片硬體的演進

而具體來說，現在AI硬體的設計正在快速特化當中。原因是因為，如果我們將AI模型拆開的話，我們會發現，AI模型每一個Phase所需要的硬體配置並不一樣。

如圖：
– Training主要是Compute Bound
– Inference起碼還需要分成Prefill和Decode Phase，Prefill為Compute Bound，Decode為Memory Bound。

而這些Phase還可以再細分，這些演算法還在繼續演化。因此，目前會看到很多新的類型的晶片在專注在解決更多細分的問題。如Groq晶片，NVIDIA 把他定位為解決Decode中的FFN Phase，而Google也首次在TPU v8把晶片設計分成專門給Training的TPU v8t和給Inference的TPU v8i。

接下來AI模型和晶片設計都還會持續演進。

介紹：Silicon Constraint Theory

目前在AI模型的需求與硬體技術的發展下，會產生一些現行技術無法完全滿足模型運算需求的瓶頸。

如在Inference Decode的情況下，記憶體頻寬在搬運資料的速度，通常都會比GPU運算慢很多，導致在Inference Decode Phase下，通常GPU都要空著等記憶體把資料搬過來，也就是我們的Memory Bandwidth Bound (記憶體頻寬不足的情況)

而目前在AI模型和硬體都在持續發展的情況下，瓶頸會在各個運算資源分配不均勻的地方產生。各種限制會導致系統的價值流向瓶頸，比如說我們其實目前就在見證Memory Bandwidth Bound的發展。記憶體的頻寬和量的需求 (更多顆HBM就能湊出更高的頻寬)，導致記憶體公司的毛利從去年幾乎不賺錢，到現在2026年下半年，記憶體大廠的毛利都攀升到80%以上。

這就是我們所謂的：”Silicon Constraint Theory”。我們現在正在見證半導體產業一個很大的變化，AI系統算力的增長需求讓半導體產業需要整體性的看各個系統瓶頸，想辦法解決系統瓶頸或是做更好的資源分配。也就是說，AI系統的算力，取決於系統中的”Silicon Constraint”，而目前這樣的Constraint決定了整個供應鏈的價值會往哪邊移動。

從HBM到Custom HBM

而為了解決目前AI系統的Silicon Constraint，我們觀察到整個半導體產業都在針對各種可能的瓶頸去推出新的技術規劃，放到Roadmap上。

比如三大記憶體廠 (SK Hynix、Samsung、Micron) 就和客戶一起提出”Custom HBM”，以新的設計來試圖減緩問題，提昇HBM頻寬，並且也在 Host Die上面空出更多的空間，讓人能夠放入更多的運算單元。

其實為了解決記憶體頻寬的問題，大家也都試圖提出不同的解決方案，如Hynix所提出的AiM，Samsung所提出的PIM，都是希望能夠在記憶體內增加一些運算能力，不過目前最受到市場歡迎，且客戶比較歡迎的方向，還是Custom HBM。也就是，在解決這些瓶頸的研發上，整個生態系也會共同的去發展出一些比較能為大家接受的技術Roadmap。

之後我們會再解析一下目前Custom HBM的發展近況。

新的典範正在創造不同的瓶頸，也正在改變整個供應鏈

因此，我們會發現，AI模型的演進正在改變AI系統中各種硬體的需求，而硬體技術和產能的需求，又會改變整體平衡，產生出供應鏈的瓶頸，進而影響關鍵瓶頸的價格和獲利，如我們前面所分享的HBM的例子和目前的最新發展。

而我們提出Silicon Constraint Theory，就是為了幫助大家更好的去了解目前半導體硬體的瓶頸遷移和價值流動方向。在未來的文章中，我們會跟大家分享更多相關的分析。