【導讀】大模型競爭進入推理階段后，AI基礎(chǔ)設施面對的任務已經(jīng)和預訓練時期有了明顯差別。過去數(shù)年，訓練大模型是AI基礎(chǔ)設施建設的主攻方向。如今到了AI工廠時代，Token開始成為衡量產(chǎn)出的基本單位，推理，尤其是代理式AI，逐漸成為數(shù)據(jù)中心承載的重要工作負載。
代理式AI需要處理的內(nèi)容遠比一次模型問答復雜。模型接收用戶輸入后，可能需要生成推理過程，調(diào)用搜索、數(shù)據(jù)庫和企業(yè)軟件，執(zhí)行代碼并訪問外部工具，最后再對結(jié)果進行驗證。多個智能體協(xié)作時，一項任務還會在不同模型、軟件服務和執(zhí)行環(huán)境之間反復流轉(zhuǎn)。
這些工作并不都適合交給GPU完成。GPU負責模型計算，CPU需要運行沙箱、編譯代碼、調(diào)用工具和管理執(zhí)行環(huán)境；推理生成階段又同時面臨高吞吐量和低延遲要求；不斷擴大的KV Cache則開始占用更多內(nèi)存和存儲資源。當任務鏈路越來越長，單獨提高GPU峰值算力已經(jīng)很難帶動整套系統(tǒng)同步提速。
在這樣的工作負載變化下，英偉達打造出一套以Vera Rubin為基礎(chǔ)的POD級AI基礎(chǔ)設施。超級平臺包含Vera CPU、Rubin GPU、Groq 3 LPU、BlueField-4 DPU、NVLink 6交換芯片、ConnectX-9 SuperNIC和Spectrum-6以太網(wǎng)交換芯片七款核心芯片，并組成GPU計算、CPU沙箱、低延遲推理、上下文存儲和網(wǎng)絡五類機架級系統(tǒng)。
這五類系統(tǒng)分別處理高吞吐量計算、密集型CPU任務、低延遲Token生成、KV Cache存儲和集群通信，再通過統(tǒng)一的網(wǎng)絡、供電、液冷和機械架構(gòu)連接成一座POD級AI工廠。
Vera Rubin的設計重點也由單顆芯片性能，擴展到處理器分工、機柜連接和數(shù)據(jù)中心基礎(chǔ)設施的整體協(xié)同。
五類機架級系統(tǒng)共同組成一臺POD級AI超級計算機
CPU重新成為AI系統(tǒng)的關(guān)鍵資源
在強化學習和智能體應用中，CPU可能成為整套系統(tǒng)的瓶頸。隨著智能體循環(huán)中的代碼編譯、腳本執(zhí)行、工具調(diào)用和環(huán)境驗證任務增加，GPU吞吐量提升并不能同步縮短這些環(huán)節(jié)的處理時間。強化學習環(huán)境和智能體沙箱持續(xù)擴張后，CPU機柜在AI集群中的配置規(guī)模也開始增加。
Vera CPU采用88個英偉達自研Olympus核心，并引入Spatial Multithreading空間多線程技術(shù)。與多個線程高度共享核心資源的常見多線程設計相比，Spatial Multithreading會為兩個硬件線程劃分部分核心資源，減少高并發(fā)負載下的資源爭用，使單個沙箱任務的執(zhí)行時間更加穩(wěn)定。單顆CPU可以運行176個硬件線程，內(nèi)存帶寬達到1.2TB/s，每個插槽最多配置1.5TB LPDDR5X SOCAMM內(nèi)存。與傳統(tǒng)服務器DIMM相比，SOCAMM可以同時保留LPDDR的帶寬和能效優(yōu)勢，以及服務器需要的模塊化靈活更換能力。
一套獨立的Vera CPU液冷機柜最多可以安裝256顆CPU。按照英偉達公布的數(shù)據(jù)，單機柜可以同時維持超過22500個強化學習或智能體沙箱環(huán)境。
另外，Vera還會以多種形態(tài)進入數(shù)據(jù)中心。它可以作為Vera Rubin NVL72中的主機CPU，通過NVLink-C2C與Rubin GPU緊密連接；也可以進入HGX Rubin NVL8等加速服務器平臺。獨立部署時，Vera還可以組成單路或雙路服務器，承擔數(shù)據(jù)處理、HPC、云基礎(chǔ)設施和存儲任務；在BlueField-4 STX中，Vera CPU又與ConnectX-9 SuperNIC結(jié)合，進入上下文存儲基礎(chǔ)設施。英偉達由此把Vera擴展到了GPU主機、CPU密集型機柜、通用服務器和存儲系統(tǒng)等多個位置。
在英偉達給出的對比數(shù)據(jù)顯示，Vera CPU的代理式沙盒性能及內(nèi)存帶寬性能均高于X86。
NVL72機架級計算引擎
CPU地位上升，并沒有削弱GPU在Vera Rubin中的計算核心位置。Vera Rubin NVL72集成72顆Rubin GPU和36顆Vera CPU，由18個計算托盤和9個NVLink交換托盤組成。每個計算托盤安裝兩組Vera Rubin Superchip，機柜內(nèi)部的72顆GPU再由NVLink組成一個大型計算域。
NVLink承擔的是Scale-up任務，它把同一個機架中的GPU組織成一個高帶寬計算域，模型參數(shù)、激活值和中間結(jié)果可以在GPU之間高速交換。
NVLink交換芯片還可以執(zhí)行部分網(wǎng)絡內(nèi)計算，把數(shù)據(jù)規(guī)約和集合通信中的部分處理移出GPU，由此減少GPU的通信管理開銷。
加碼推理，LPU出現(xiàn)
英偉達在2026年將Groq 3 LPU加入Vera Rubin，形成獨立的LPX推理機柜。每個LPX機柜包含256顆LPU，采用片上SRAM和確定性執(zhí)行架構(gòu)，面向低延遲Token生成。LPX會與NVL72配合使用，Rubin GPU處理長上下文、Attention和計算密集型任務，LPU承擔部分逐Token解碼和MoE專家計算。
預填充階段需要一次處理完整輸入上下文，矩陣規(guī)模大、并行度高，GPU可以充分發(fā)揮計算吞吐和HBM容量。但到了Decode階段，按照自回歸方式逐個生成Token，每一輪都要等待上一輪結(jié)果，計算顆粒更小，用戶對延遲也更加敏感。
推理模型開始生成數(shù)千甚至數(shù)萬個思考Token后，Decode占用的時間迅速增加。擴大Batch可以提高GPU總吞吐量，也會讓一個請求在隊列中等待更長時間。高吞吐量和低交互延遲很難在同一種配置下同時達到。
這套分工把推理進一步拆開：GPU追求整體吞吐量，LPU縮短用戶等待每個Token的時間，CPU則負責執(zhí)行工具和驗證結(jié)果。三類處理器需要反復交換狀態(tài)和中間數(shù)據(jù)，系統(tǒng)性能越來越依賴調(diào)度軟件和網(wǎng)絡能否準確地把任務送到合適的硬件。
英偉達公布的測試中，Vera Rubin NVL72與LPX組合在特定萬億參數(shù)模型上，相較Blackwell可獲得最高35倍Token產(chǎn)出和最高10倍收入機會。
存儲正在變得極其重要
推理規(guī)模擴大后，另一個快速增長的資源是KV Cache。
KV Cache是已經(jīng)計算過的上下文狀態(tài)，模型生成下一個Token時，可以直接讀取這些結(jié)果，無需重新計算全部歷史內(nèi)容。聊天機器人通常只在一次對話中保留上下文，智能體需要長期保存任務目標、工具調(diào)用結(jié)果、中間推理和其他智能體返回的數(shù)據(jù)，多個服務還可能重復訪問同一份上下文。
現(xiàn)有推理系統(tǒng)通常把KV Cache放在GPU HBM中。HBM速度快、成本高、容量有限，空間不足后，數(shù)據(jù)會依次下沉到CPU內(nèi)存、本地SSD和網(wǎng)絡存儲。每下降一級，容量增加，訪問延遲也會上升。GPU等待KV Cache返回時，Decode流程會暫停，系統(tǒng)吞吐量隨之下降。
傳統(tǒng)共享存儲圍繞永久數(shù)據(jù)設計，需要處理多副本、數(shù)據(jù)保護、一致性和長期保存。KV Cache屬于推理過程中產(chǎn)生的臨時狀態(tài)，部分數(shù)據(jù)丟失后也可以重新計算。兩類數(shù)據(jù)的訪問特征和可靠性要求差異很大，英偉達由此在GPU和CPU內(nèi)存之外，增加了面向KV Cache的CMX Context Memory Storage。它以BlueField-4 STX機柜為基礎(chǔ)，在POD內(nèi)部提供一層高帶寬、可共享的上下文存儲，使KV Cache可以在不同輪次、會話和智能體之間重復使用，減少GPU HBM容量占用和遠端共享存儲訪問。
英偉達的CMX可基于BlueField-4 STX機柜構(gòu)建， NVIDIA BlueField-4 STX?機架采用 NVIDIA BlueField-4 處理器，該處理器結(jié)合了 Vera CPU 和 ConnectX-9 SuperNIC，并通過 Spectrum-X 以太網(wǎng)網(wǎng)絡進行橫向擴展。BlueField-4負責NVMe訪問、數(shù)據(jù)完整性、加密和KV數(shù)據(jù)傳輸，Spectrum-X提供低延遲的RDMA網(wǎng)絡。系統(tǒng)可以在Decode開始前，把即將使用的數(shù)據(jù)提前送入GPU或者主機內(nèi)存，從而減少GPU等待。
英偉達稱，CMX在長上下文和智能體推理中可以帶來最高5倍的持續(xù)Token吞吐量，以及最高5倍于傳統(tǒng)存儲的能效。這些指標屬于廠商測試結(jié)果，CMX的系統(tǒng)價值仍然容易理解：昂貴的HBM可以保存最活躍的數(shù)據(jù)，更大規(guī)模的推理上下文進入一個針對KV Cache優(yōu)化的共享層，GPU因此減少重復計算和遠端存儲等待。
如圖所示，G3.5的CMX 位于本地SSD和網(wǎng)絡存儲共享之間，提供了有效數(shù)據(jù)緩沖。
面對不同數(shù)據(jù)流的網(wǎng)絡拓撲
計算、CPU執(zhí)行、低延遲解碼和上下文存儲被拆分到不同機柜后，網(wǎng)絡需要處理的數(shù)據(jù)流也需要分層傳輸，AI工廠中的網(wǎng)絡可以歸納為五類：Scale-up、Scale-out、Scale-across、存儲網(wǎng)絡和管理網(wǎng)絡。
Scale-up負責連接同一個計算域內(nèi)的GPU。在Vera Rubin NVL72中，NVLink 6將72顆Rubin GPU組成一個高帶寬計算域，用于模型并行、GPU內(nèi)存訪問和高頻集合通信，對帶寬、延遲和抖動提出了極高要求。
Scale-out指東西向擴展，負責連接多個機柜。英偉達同時提供InfiniBand和Spectrum-X Ethernet。InfiniBand長期服務于HPC和并行計算，RDMA、無損網(wǎng)絡以及集合通信機制較為成熟；Spectrum-X面向已經(jīng)擁有大量以太網(wǎng)基礎(chǔ)設施的云廠商和企業(yè)，使這些客戶繼續(xù)使用已有的運維體系、網(wǎng)絡人才和管理軟件。用戶可以根據(jù)自己需求靈活選擇部署。
Scale-across則負責連接不同數(shù)據(jù)中心。隨著AI工廠的擴大，單個園區(qū)的電力、土地和冷卻容量有限，AI集群可能部署在多個建筑、多個園區(qū)甚至相距數(shù)百公里的設施中。長距離通信會增加傳播延遲和帶寬時延積，機房內(nèi)部使用的擁塞控制參數(shù)難以直接套用。英偉達的Spectrum-XGS技術(shù)，通過拓撲感知擁塞控制、延遲管理和端到端遙測，讓分布在不同設施中的算力參與同一套AI任務。英偉達稱，其在跨數(shù)據(jù)中心環(huán)境中的NCCL性能最高可提高1.9倍。
傳統(tǒng)企業(yè)數(shù)據(jù)中心中，一臺服務器或者虛擬機可以獨立處理大部分業(yè)務。單個數(shù)據(jù)包延遲略有波動，通常只會影響一個請求。而AI訓練需要面向數(shù)千顆GPU，一輪本地計算結(jié)束后，所有節(jié)點要通過All-Reduce、All-Gather或All-to-All交換數(shù)據(jù)，再進入下一輪計算。
因此，不能因為一顆處理器的網(wǎng)絡擁塞影響其他GPU。網(wǎng)絡抖動影響的范圍也由一個請求擴大到整個訓練集群。AI網(wǎng)絡需要同時關(guān)注有效帶寬、尾延遲、丟包率、擁塞恢復時間以及每輪通信耗時是否穩(wěn)定。這需要無損、低延遲和接近零抖動的網(wǎng)絡。
CPO量產(chǎn)進行時
數(shù)據(jù)中心除了芯片耗能之外，網(wǎng)絡設備的功耗同樣不容忽視。傳統(tǒng)可插拔光模塊速率提升到800Gb/s和1.6Tb/s后，其內(nèi)部電芯片的耗電量激增，信號損耗、驅(qū)動功耗和散熱壓力都會明顯提升。
利用CPO（共封裝光學）技術(shù)，可以把硅光引擎放到交換芯片封裝附近，將高速電信號的傳輸距離縮短到毫米級，隨后盡早轉(zhuǎn)換成光信號，從而減少網(wǎng)絡功耗和延遲。
Spectrum-X Ethernet Photonics基于Spectrum-6，最高交換容量達到409.6Tb/s。與可插拔光模塊方案相比，CPO可以獲得5倍網(wǎng)絡能效，并將AI應用的持續(xù)運行時間提高5倍。同時，CPO不需要傳統(tǒng)DSP重定時器，可以縮短網(wǎng)絡延遲。
MGX和DSX把協(xié)同設計延伸到機房
英偉達MGX提供開放式模塊化參考架構(gòu)，使 OEM、ODM 和生態(tài)系統(tǒng)合作伙伴能夠更快地構(gòu)建加速系統(tǒng)，對于系統(tǒng)組裝商而言，MGX 通過使用共享參考設計將每個平臺的研發(fā)成本降低 200 – 400 萬美元。
雖然 NVIDIA MGX NVL 機架提供大規(guī)模縱向擴展的計算域，但代理式 AI 工作流需要高度專業(yè)化的節(jié)點來實現(xiàn)超低延遲推理、CPU 沙盒和用于 KV 緩存的加速上下文內(nèi)存。為滿足這些不同需求，Vera Rubin 推出了 MGX ETL 機架架構(gòu)，這是一種完全可配置的全新 MGX 機架，其設計采用 Spectrum-X 以太網(wǎng)主干或直接芯片到芯片主干，利用與 MGX NVL 機架相同的機架級生態(tài)系統(tǒng)。
MGX ETL與MGX NVL采用相同的機架尺寸，并共享主要機械結(jié)構(gòu)、銅纜背板、供電和液冷部件。OEM和ODM可以在相同的機房條件與供應鏈體系下，構(gòu)建GPU計算、CPU沙箱、LPX推理和BlueField-4 STX存儲機柜，減少不同系統(tǒng)分別開發(fā)和驗證的成本。
功率管理也進入?yún)f(xié)同設計范圍。AI訓練和推理會產(chǎn)生快速負載變化，在機架層面，Vera Rubin NVL72 通過功率平滑技術(shù)來平衡功率波動，并集成了比 Blackwell Ultra 多 6 倍的局部能量緩沖，能夠在源端直接吸收快速的功率瞬變，這套機制可以將峰值電流需求降低最高25%。另外，MGX還支持45℃進水溫度和5000A液冷母排，較高的進水溫度可以減少部分地區(qū)對壓縮機制冷的依賴。
NVIDIA Vera Rubin DSX 則是一個 AI 工廠平臺，可為共同設計的 AI 基礎(chǔ)設施 (從芯片到電網(wǎng)) 提供藍圖和參考設計。AI工廠建設前，廠商可以在Omniverse數(shù)字孿生中模擬網(wǎng)絡協(xié)議、端口配置、機柜布局、功率分配和冷卻效果，提前進行系統(tǒng)仿真，從而提前進行各類指標評估，避免返工。
通過協(xié)同設計，拓展整條推理供應鏈
Vera Rubin最值得關(guān)注的變化，可能并非某一顆芯片增加了多少算力，而是英偉達開始圍繞推理和智能體任務重新分配系統(tǒng)資源，Vera Rubin也是英偉達迄今為止的集大成者。
GPU仍然是主要的模型計算引擎，CPU需求上升后，英偉達用Vera覆蓋智能體沙箱、強化學習和通用數(shù)據(jù)處理；Decode對延遲的要求，使得LPU+SRAM進入了推理流程中；KV Cache容量持續(xù)擴大，則利用BlueField-4和CMX形成新的存儲形態(tài)；最后用不同的網(wǎng)絡連接拓撲將系統(tǒng)構(gòu)成POD甚至更大規(guī)模的集群，諸如NVLink、Spectrum-X、InfiniBand和Spectrum-XGS等等，從而打造出真正的AI工廠。
當基礎(chǔ)設施擴展到POD規(guī)模，AI系統(tǒng)的評價維度理應隨之增加。單顆GPU的峰值性能仍然重要，Token生成速度、單用戶延遲、每瓦吞吐量、GPU有效利用率、系統(tǒng)持續(xù)運行時間和CPU沙箱處理能力，也開始共同決定一座AI工廠的實際產(chǎn)出。
Vera Rubin代表了英偉達在推理時代的一次能力邊界擴張。產(chǎn)品定義已不只是GPU和服務器，也包括不同處理器之間的任務分工、機柜之間的網(wǎng)絡連接，以及從功率分配、液冷到機房建設的整體協(xié)同。
