Google 將人工智慧晶片一分為二，推論成本大減 80%

Google 於 4 月 22 日在拉斯維加斯雲端 Next 大會上發布的公告，表面上看來是一次增額的硬體更新。兩款新晶片、資料中心網路的新名稱，以及又一輪效能宣稱。但數字背後的架構，傳達了迄今最明確的訊號：人工智慧晶片產業已達到結構性轉折點——單一通用加速器再也無法同時滿足訓練與推論的經濟效益，而 Google 已決定不再假裝可以。

七個世代以來，Google 的張量處理單元（TPU）一直是統一設計：單一晶片家族同時負責訓練大型模型的運算密集型工作，以及服務使用者的延遲敏感任務。第八代徹底打破此模式。TPU 8t——代號 Sunfish，與博通共同設計——是訓練晶片。TPU 8i——代號 Zebrafish，與聯發科共同設計——是推論晶片。兩者皆採用台積電 2 奈米製程，目標於 2027 年底量產。拆分產品線的決定並非工程上的註腳，而是對人工智慧基礎設施經濟走向的策略性宣示，也是對輝達以單一硬體類別銷售一切的策略之直接挑戰。

為何訓練與推論無法再共享矽晶片

在深度學習時代的大部分時間裡，訓練模型與執行模型之間的差距夠小，同一套硬體可同時應付兩者。GPU 專為平行矩陣運算設計，而無論是計算梯度或生成代幣，數學運算大致相似。這種重疊證明了輝達的產品線合理性，也使統一加速器成為違約選項。

此違約選項正因一個具體且可量測的原因而瓦解：專家混合（MoE）架構與多代理工作負載的興起。MoE 模型僅將每個代幣路由至總引數的一小部分，這意味著推論延遲主要由記憶體頻寬主導，而非原始運算資源。針對訓練規模密集矩陣乘法調校的晶片，在 MoE 模型的推論上將效率低落，因為瓶頸出現在錯誤的位置。訓練需要峰值 FP8 吞吐量與 pod 內晶片間的互連頻寬。推論則需要大量晶片內 SRAM、用於鍵值注意力的快速快取，以及對數百萬並發使用者提供低延遲的稀疏啟用服務。

Google 的工程師結論是，沒有任何單一晶粒能在不犧牲其中一方的情況下同時最佳化兩者。結果是兩款晶片擁有不同的記憶體、不同的互連，以及不同的矽晶片取捨——為不同任務而設計。

分拆的經濟學

財務影響相當可觀。Google 宣稱，相較於前一代 Ironwood，TPU 8i 在 MoE 模型低延遲推論服務上，每美元效能提升 80%。這並非邊際效率的改善，而是足以重新定義雲端推論成本結構的階梯式變革。

在訓練端，TPU 8t 超級叢集可擴展至 9,600 顆晶片，並在單一網狀架構中共享 2 PB 的 HBM3e2 記憶體，每個叢集可達 121 FP4 exaFLOPS 運算力，且在大型訓練工作負載上，性價比較 Ironwood 提升 2.7 倍。名為 Virgo 網路的全新超大規模資料中心網路架構，可串聯多達 134,000 顆 TPU 8t 晶片，提供每秒 47 petabits 的無阻塞雙分頻寬——這樣的頻寬數字已不再像硬體規格，而更像 Google 對未來前沿訓練運算需求的戰略意圖宣示。

對企業客戶而言，這項分拆具有直接意義：大規模執行 AI 代理幾乎完全是推論問題。一家企業若執行數百萬個並行 AI 代理，並非在訓練模型，而是每秒數千次地呼叫推論端點，力求達成以數百毫秒計的延遲目標，並支付隨每個代幣生成而不斷攀升的雲端帳單。若這些數字在真實工作負載下成立，推論經濟效益提升 80% 將是生產規模 AI 部署成本的實質性降低。

輝達無法複製的供應鏈

Google 圍繞這些晶片所建構的體系，其重要性不亞於晶片本身。TPU 8 背後的供應鏈現已涵蓋四大夥伴：博通負責訓練晶片，聯發科負責推論晶片，Marvell 負責新的記憶體處理單元，另有一款目前處於設計討論階段的潛在推論優化 TPU，以及台積電負責 2 奈米製程。與博通的 TPU 設計合作協議延續至 2031 年。據報導，Google 正生產近兩百萬顆 Marvell 記憶體處理單元，設計定案預計在一年內完成。

這是一場深思熟慮的多元化布局。輝達的競爭優勢歷來建立在高度整合的技術棧上：CUDA 軟體、NVLink 互連、來自少數供應商的 HBM，以及幾乎全數在內部完成的設計流程。其結果是效能、軟體與記憶體協同優化的連貫產品線——但這也意味著，唯有另一個同樣具備整合能力的參與者，才能複製或超越此一格局。

Google 的做法顛覆了這套邏輯。透過將晶粒設計責任分散給多家半導體合作夥伴，Google 降低對任何單一供應商關係的依賴，同時將各家夥伴的專業技術整合進最終產品。博通的晶粒封裝與介面設計、聯發科在成本優化與高量產矽晶片方面的經驗，以及 Marvell 的記憶體架構能力，各自為系統貢獻所長，這是 Google 以外任何單一公司都無法以相同方式組裝出來的成果。

The Register 與 TheNextWeb 指出，Google 仍承諾在雲端提供輝達硬體予客戶，與自家產品並行——輝達的 Vera Rubin GPU 預計今年稍後在 Google 雲端上架。Google 並非試圖將輝達逐出自家雲端，而是力求建立足夠的內部矽晶片能力，使輝達的定價槓桿減弱，尤其是在推論工作負載方面——這是 Google 雲端與 AWS、Azure 及日益擴大的推論新創群體競爭最直接的一塊。

雲端買家將迎來哪些變化

對採購運算資源的企業與開發者而言，短期實際影響有限——TPU 8t 與 8i 均鎖定 2027 年底上市。但這項宣布將影響當下正在進行的採購決策與架構選擇。

首先，效能宣示透露了 Google 雲端競爭定位的未來走向。任何目前在 Google 雲端內以輝達硬體執行大規模人工智慧推論的企業，都應密切關注 TPU 8i 藍圖。若推論成本每代幣降低 80% 屬實，那麼圍繞 Google 自家矽晶片重新架構工作負載，將值得投入工程時間——這是先前幾代 TPU 無法證明的價值。

其次，MoE 架構優化透露了 Google 對前沿人工智慧走向的判斷。Google、Meta 與 Mistral 均已推出基於 MoE 的模型。Google 針對 MoE 服務設計推論硬體——而非針對密集 Transformer 推論——這顯示其內部模型藍圖已堅定朝向 MoE 方向。在 Google 雲端基礎設施上開發的開發者，也將為同一個架構未來而建置。

第三，Virgo 網路架構在 134,000 顆晶片規模下提供每秒 47 petabits 的頻寬，這對少數在前沿規模進行訓練的機構具有意義。目前以該規模訓練的實體僅有少數前沿實驗室。對其他所有人而言，TPU 8i 的推論故事才是更具即時可操作性的進展。

Vera Rubin 訊號與共存之意涵

Google 決定在自家雲端保留輝達產品、同時推出競爭晶片的做法，本身就是一種策略，而非矛盾。彭博與 TechCrunch 均指出，Google 與微軟、亞馬遜一樣，將輝達硬體納入其投資組合，Vera Rubin 預計於 2026 年登上該平台。這種並存有其短期目的——企業客戶的軟體堆疊高度依賴輝達，並非輕易可轉移——但也反映了一項更長期的算計。

Google 的目標並非在第一天就以取代輝達取勝，而是透過打造在特定工作負載上具競爭力的自研晶片——超大規模訓練、低延遲的 MoE 推論——使 Google 雲端營收中經由輝達硬體流動的比重隨時間下降。晶片利潤率留在 Alphabet 內部，而非流向聖克拉拉。對一家資本支出規模如 Alphabet 已承諾投入人工智慧基礎設施的公司而言，即便僅在部分支出上掌握晶片經濟效益，十年內也代表數百億美元的成本結構優勢。

彭博報導，Alphabet 同時計畫向 Anthropic 投入最高 400 億美元，而 Anthropic 的運算大量執行於 Google 雲端基礎設施上。Anthropic 營運的 Claude 是企業採用快速成長的前沿模型。TPU 8i 推論晶片在某種實質意義上，也正是為 Anthropic 將透過 Google 基礎設施擴張的工作負載而設計，時間點與該晶片鎖定的 2027 年一致。

Google 正在下的戰略賭注

Google 押注的是，2027 年以後的人工智慧基礎設施將由兩種對晶片需求互不相容的獨立工作負載所定義——而作為唯一一家以 2 奈米製程、透過四夥伴多元化供應鏈，為兩者皆出貨專用晶片的超大規模雲端業者，將是一項持久的優勢。

這項賭注並非穩操勝券。訓練與推論的分工需要軟體生態系跟上腳步。既有的 MLOps 工具已能處理 GPU 異質性，未來需進一步將工作負載有效率地調度至 TPU 8t 與 8i 叢集。同時具備混合訓練與推論需求的企業，將面臨更多而非更少的架構決策。而 2027 年的目標時程，也留給輝達 Vera Rubin 及其後續世代相當大的空間來重新設定競爭基準。

但這項賭注的方向，反映的是對人工智慧運算資源經濟效益正在何處裂解的實際分析。形塑此一轉折點的公司——以實際工作負載為設計出發點的硬體，而非從前一代沿用改編——將設定價格與效能基準，迫使所有其他參與者跟進。Google 在雲端 Next 2026 上已明確表示，它打算成為其中之一。

資料來源：TechCrunch（4 月 22 日）、彭博（4 月 22 日）、TheNextWeb（4 月 22 日）、The Register（4 月 22 日）、Google 雲端部落格、NextPlatform。