【導(dǎo)讀】大模型競(jìng)爭(zhēng)進(jìn)入推理階段后，AI基礎(chǔ)設(shè)施面對(duì)的任務(wù)已經(jīng)和預(yù)訓(xùn)練時(shí)期有了明顯差別。過(guò)去數(shù)年，訓(xùn)練大模型是AI基礎(chǔ)設(shè)施建設(shè)的主攻方向。如今到了AI工廠時(shí)代，Token開(kāi)始成為衡量產(chǎn)出的基本單位，推理，尤其是代理式AI，逐漸成為數(shù)據(jù)中心承載的重要工作負(fù)載。
代理式AI需要處理的內(nèi)容遠(yuǎn)比一次模型問(wèn)答復(fù)雜。模型接收用戶輸入后，可能需要生成推理過(guò)程，調(diào)用搜索、數(shù)據(jù)庫(kù)和企業(yè)軟件，執(zhí)行代碼并訪問(wèn)外部工具，最后再對(duì)結(jié)果進(jìn)行驗(yàn)證。多個(gè)智能體協(xié)作時(shí)，一項(xiàng)任務(wù)還會(huì)在不同模型、軟件服務(wù)和執(zhí)行環(huán)境之間反復(fù)流轉(zhuǎn)。
這些工作并不都適合交給GPU完成。GPU負(fù)責(zé)模型計(jì)算，CPU需要運(yùn)行沙箱、編譯代碼、調(diào)用工具和管理執(zhí)行環(huán)境；推理生成階段又同時(shí)面臨高吞吐量和低延遲要求；不斷擴(kuò)大的KV Cache則開(kāi)始占用更多內(nèi)存和存儲(chǔ)資源。當(dāng)任務(wù)鏈路越來(lái)越長(zhǎng)，單獨(dú)提高GPU峰值算力已經(jīng)很難帶動(dòng)整套系統(tǒng)同步提速。
在這樣的工作負(fù)載變化下，英偉達(dá)打造出一套以Vera Rubin為基礎(chǔ)的POD級(jí)AI基礎(chǔ)設(shè)施。超級(jí)平臺(tái)包含Vera CPU、Rubin GPU、Groq 3 LPU、BlueField-4 DPU、NVLink 6交換芯片、ConnectX-9 SuperNIC和Spectrum-6以太網(wǎng)交換芯片七款核心芯片，并組成GPU計(jì)算、CPU沙箱、低延遲推理、上下文存儲(chǔ)和網(wǎng)絡(luò)五類機(jī)架級(jí)系統(tǒng)。
這五類系統(tǒng)分別處理高吞吐量計(jì)算、密集型CPU任務(wù)、低延遲Token生成、KV Cache存儲(chǔ)和集群通信，再通過(guò)統(tǒng)一的網(wǎng)絡(luò)、供電、液冷和機(jī)械架構(gòu)連接成一座POD級(jí)AI工廠。
Vera Rubin的設(shè)計(jì)重點(diǎn)也由單顆芯片性能，擴(kuò)展到處理器分工、機(jī)柜連接和數(shù)據(jù)中心基礎(chǔ)設(shè)施的整體協(xié)同。
五類機(jī)架級(jí)系統(tǒng)共同組成一臺(tái)POD級(jí)AI超級(jí)計(jì)算機(jī)
CPU重新成為AI系統(tǒng)的關(guān)鍵資源
在強(qiáng)化學(xué)習(xí)和智能體應(yīng)用中，CPU可能成為整套系統(tǒng)的瓶頸。隨著智能體循環(huán)中的代碼編譯、腳本執(zhí)行、工具調(diào)用和環(huán)境驗(yàn)證任務(wù)增加，GPU吞吐量提升并不能同步縮短這些環(huán)節(jié)的處理時(shí)間。強(qiáng)化學(xué)習(xí)環(huán)境和智能體沙箱持續(xù)擴(kuò)張后，CPU機(jī)柜在AI集群中的配置規(guī)模也開(kāi)始增加。
Vera CPU采用88個(gè)英偉達(dá)自研Olympus核心，并引入Spatial Multithreading空間多線程技術(shù)。與多個(gè)線程高度共享核心資源的常見(jiàn)多線程設(shè)計(jì)相比，Spatial Multithreading會(huì)為兩個(gè)硬件線程劃分部分核心資源，減少高并發(fā)負(fù)載下的資源爭(zhēng)用，使單個(gè)沙箱任務(wù)的執(zhí)行時(shí)間更加穩(wěn)定。單顆CPU可以運(yùn)行176個(gè)硬件線程，內(nèi)存帶寬達(dá)到1.2TB/s，每個(gè)插槽最多配置1.5TB LPDDR5X SOCAMM內(nèi)存。與傳統(tǒng)服務(wù)器DIMM相比，SOCAMM可以同時(shí)保留LPDDR的帶寬和能效優(yōu)勢(shì)，以及服務(wù)器需要的模塊化靈活更換能力。
一套獨(dú)立的Vera CPU液冷機(jī)柜最多可以安裝256顆CPU。按照英偉達(dá)公布的數(shù)據(jù)，單機(jī)柜可以同時(shí)維持超過(guò)22500個(gè)強(qiáng)化學(xué)習(xí)或智能體沙箱環(huán)境。
另外，Vera還會(huì)以多種形態(tài)進(jìn)入數(shù)據(jù)中心。它可以作為Vera Rubin NVL72中的主機(jī)CPU，通過(guò)NVLink-C2C與Rubin GPU緊密連接；也可以進(jìn)入HGX Rubin NVL8等加速服務(wù)器平臺(tái)。獨(dú)立部署時(shí)，Vera還可以組成單路或雙路服務(wù)器，承擔(dān)數(shù)據(jù)處理、HPC、云基礎(chǔ)設(shè)施和存儲(chǔ)任務(wù)；在BlueField-4 STX中，Vera CPU又與ConnectX-9 SuperNIC結(jié)合，進(jìn)入上下文存儲(chǔ)基礎(chǔ)設(shè)施。英偉達(dá)由此把Vera擴(kuò)展到了GPU主機(jī)、CPU密集型機(jī)柜、通用服務(wù)器和存儲(chǔ)系統(tǒng)等多個(gè)位置。
在英偉達(dá)給出的對(duì)比數(shù)據(jù)顯示，Vera CPU的代理式沙盒性能及內(nèi)存帶寬性能均高于X86。
NVL72機(jī)架級(jí)計(jì)算引擎
CPU地位上升，并沒(méi)有削弱GPU在Vera Rubin中的計(jì)算核心位置。Vera Rubin NVL72集成72顆Rubin GPU和36顆Vera CPU，由18個(gè)計(jì)算托盤(pán)和9個(gè)NVLink交換托盤(pán)組成。每個(gè)計(jì)算托盤(pán)安裝兩組Vera Rubin Superchip，機(jī)柜內(nèi)部的72顆GPU再由NVLink組成一個(gè)大型計(jì)算域。
NVLink承擔(dān)的是Scale-up任務(wù)，它把同一個(gè)機(jī)架中的GPU組織成一個(gè)高帶寬計(jì)算域，模型參數(shù)、激活值和中間結(jié)果可以在GPU之間高速交換。
NVLink交換芯片還可以執(zhí)行部分網(wǎng)絡(luò)內(nèi)計(jì)算，把數(shù)據(jù)規(guī)約和集合通信中的部分處理移出GPU，由此減少GPU的通信管理開(kāi)銷。
加碼推理，LPU出現(xiàn)
英偉達(dá)在2026年將Groq 3 LPU加入Vera Rubin，形成獨(dú)立的LPX推理機(jī)柜。每個(gè)LPX機(jī)柜包含256顆LPU，采用片上SRAM和確定性執(zhí)行架構(gòu)，面向低延遲Token生成。LPX會(huì)與NVL72配合使用，Rubin GPU處理長(zhǎng)上下文、Attention和計(jì)算密集型任務(wù)，LPU承擔(dān)部分逐Token解碼和MoE專家計(jì)算。
預(yù)填充階段需要一次處理完整輸入上下文，矩陣規(guī)模大、并行度高，GPU可以充分發(fā)揮計(jì)算吞吐和HBM容量。但到了Decode階段，按照自回歸方式逐個(gè)生成Token，每一輪都要等待上一輪結(jié)果，計(jì)算顆粒更小，用戶對(duì)延遲也更加敏感。
推理模型開(kāi)始生成數(shù)千甚至數(shù)萬(wàn)個(gè)思考Token后，Decode占用的時(shí)間迅速增加。擴(kuò)大Batch可以提高GPU總吞吐量，也會(huì)讓一個(gè)請(qǐng)求在隊(duì)列中等待更長(zhǎng)時(shí)間。高吞吐量和低交互延遲很難在同一種配置下同時(shí)達(dá)到。
這套分工把推理進(jìn)一步拆開(kāi)：GPU追求整體吞吐量，LPU縮短用戶等待每個(gè)Token的時(shí)間，CPU則負(fù)責(zé)執(zhí)行工具和驗(yàn)證結(jié)果。三類處理器需要反復(fù)交換狀態(tài)和中間數(shù)據(jù)，系統(tǒng)性能越來(lái)越依賴調(diào)度軟件和網(wǎng)絡(luò)能否準(zhǔn)確地把任務(wù)送到合適的硬件。
英偉達(dá)公布的測(cè)試中，Vera Rubin NVL72與LPX組合在特定萬(wàn)億參數(shù)模型上，相較Blackwell可獲得最高35倍Token產(chǎn)出和最高10倍收入機(jī)會(huì)。
存儲(chǔ)正在變得極其重要
推理規(guī)模擴(kuò)大后，另一個(gè)快速增長(zhǎng)的資源是KV Cache。
KV Cache是已經(jīng)計(jì)算過(guò)的上下文狀態(tài)，模型生成下一個(gè)Token時(shí)，可以直接讀取這些結(jié)果，無(wú)需重新計(jì)算全部歷史內(nèi)容。聊天機(jī)器人通常只在一次對(duì)話中保留上下文，智能體需要長(zhǎng)期保存任務(wù)目標(biāo)、工具調(diào)用結(jié)果、中間推理和其他智能體返回的數(shù)據(jù)，多個(gè)服務(wù)還可能重復(fù)訪問(wèn)同一份上下文。
現(xiàn)有推理系統(tǒng)通常把KV Cache放在GPU HBM中。HBM速度快、成本高、容量有限，空間不足后，數(shù)據(jù)會(huì)依次下沉到CPU內(nèi)存、本地SSD和網(wǎng)絡(luò)存儲(chǔ)。每下降一級(jí)，容量增加，訪問(wèn)延遲也會(huì)上升。GPU等待KV Cache返回時(shí)，Decode流程會(huì)暫停，系統(tǒng)吞吐量隨之下降。
傳統(tǒng)共享存儲(chǔ)圍繞永久數(shù)據(jù)設(shè)計(jì)，需要處理多副本、數(shù)據(jù)保護(hù)、一致性和長(zhǎng)期保存。KV Cache屬于推理過(guò)程中產(chǎn)生的臨時(shí)狀態(tài)，部分?jǐn)?shù)據(jù)丟失后也可以重新計(jì)算。兩類數(shù)據(jù)的訪問(wèn)特征和可靠性要求差異很大，英偉達(dá)由此在GPU和CPU內(nèi)存之外，增加了面向KV Cache的CMX Context Memory Storage。它以BlueField-4 STX機(jī)柜為基礎(chǔ)，在POD內(nèi)部提供一層高帶寬、可共享的上下文存儲(chǔ)，使KV Cache可以在不同輪次、會(huì)話和智能體之間重復(fù)使用，減少GPU HBM容量占用和遠(yuǎn)端共享存儲(chǔ)訪問(wèn)。
英偉達(dá)的CMX可基于BlueField-4 STX機(jī)柜構(gòu)建， NVIDIA BlueField-4 STX?機(jī)架采用 NVIDIA BlueField-4 處理器，該處理器結(jié)合了 Vera CPU 和 ConnectX-9 SuperNIC，并通過(guò) Spectrum-X 以太網(wǎng)網(wǎng)絡(luò)進(jìn)行橫向擴(kuò)展。BlueField-4負(fù)責(zé)NVMe訪問(wèn)、數(shù)據(jù)完整性、加密和KV數(shù)據(jù)傳輸，Spectrum-X提供低延遲的RDMA網(wǎng)絡(luò)。系統(tǒng)可以在Decode開(kāi)始前，把即將使用的數(shù)據(jù)提前送入GPU或者主機(jī)內(nèi)存，從而減少GPU等待。
英偉達(dá)稱，CMX在長(zhǎng)上下文和智能體推理中可以帶來(lái)最高5倍的持續(xù)Token吞吐量，以及最高5倍于傳統(tǒng)存儲(chǔ)的能效。這些指標(biāo)屬于廠商測(cè)試結(jié)果，CMX的系統(tǒng)價(jià)值仍然容易理解：昂貴的HBM可以保存最活躍的數(shù)據(jù)，更大規(guī)模的推理上下文進(jìn)入一個(gè)針對(duì)KV Cache優(yōu)化的共享層，GPU因此減少重復(fù)計(jì)算和遠(yuǎn)端存儲(chǔ)等待。
如圖所示，G3.5的CMX 位于本地SSD和網(wǎng)絡(luò)存儲(chǔ)共享之間，提供了有效數(shù)據(jù)緩沖。
面對(duì)不同數(shù)據(jù)流的網(wǎng)絡(luò)拓?fù)?/p>
計(jì)算、CPU執(zhí)行、低延遲解碼和上下文存儲(chǔ)被拆分到不同機(jī)柜后，網(wǎng)絡(luò)需要處理的數(shù)據(jù)流也需要分層傳輸，AI工廠中的網(wǎng)絡(luò)可以歸納為五類：Scale-up、Scale-out、Scale-across、存儲(chǔ)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)。
Scale-up負(fù)責(zé)連接同一個(gè)計(jì)算域內(nèi)的GPU。在Vera Rubin NVL72中，NVLink 6將72顆Rubin GPU組成一個(gè)高帶寬計(jì)算域，用于模型并行、GPU內(nèi)存訪問(wèn)和高頻集合通信，對(duì)帶寬、延遲和抖動(dòng)提出了極高要求。
Scale-out指東西向擴(kuò)展，負(fù)責(zé)連接多個(gè)機(jī)柜。英偉達(dá)同時(shí)提供InfiniBand和Spectrum-X Ethernet。InfiniBand長(zhǎng)期服務(wù)于HPC和并行計(jì)算，RDMA、無(wú)損網(wǎng)絡(luò)以及集合通信機(jī)制較為成熟；Spectrum-X面向已經(jīng)擁有大量以太網(wǎng)基礎(chǔ)設(shè)施的云廠商和企業(yè)，使這些客戶繼續(xù)使用已有的運(yùn)維體系、網(wǎng)絡(luò)人才和管理軟件。用戶可以根據(jù)自己需求靈活選擇部署。
Scale-across則負(fù)責(zé)連接不同數(shù)據(jù)中心。隨著AI工廠的擴(kuò)大，單個(gè)園區(qū)的電力、土地和冷卻容量有限，AI集群可能部署在多個(gè)建筑、多個(gè)園區(qū)甚至相距數(shù)百公里的設(shè)施中。長(zhǎng)距離通信會(huì)增加傳播延遲和帶寬時(shí)延積，機(jī)房?jī)?nèi)部使用的擁塞控制參數(shù)難以直接套用。英偉達(dá)的Spectrum-XGS技術(shù)，通過(guò)拓?fù)涓兄獡砣刂?、延遲管理和端到端遙測(cè)，讓分布在不同設(shè)施中的算力參與同一套AI任務(wù)。英偉達(dá)稱，其在跨數(shù)據(jù)中心環(huán)境中的NCCL性能最高可提高1.9倍。
傳統(tǒng)企業(yè)數(shù)據(jù)中心中，一臺(tái)服務(wù)器或者虛擬機(jī)可以獨(dú)立處理大部分業(yè)務(wù)。單個(gè)數(shù)據(jù)包延遲略有波動(dòng)，通常只會(huì)影響一個(gè)請(qǐng)求。而AI訓(xùn)練需要面向數(shù)千顆GPU，一輪本地計(jì)算結(jié)束后，所有節(jié)點(diǎn)要通過(guò)All-Reduce、All-Gather或All-to-All交換數(shù)據(jù)，再進(jìn)入下一輪計(jì)算。
因此，不能因?yàn)橐活w處理器的網(wǎng)絡(luò)擁塞影響其他GPU。網(wǎng)絡(luò)抖動(dòng)影響的范圍也由一個(gè)請(qǐng)求擴(kuò)大到整個(gè)訓(xùn)練集群。AI網(wǎng)絡(luò)需要同時(shí)關(guān)注有效帶寬、尾延遲、丟包率、擁塞恢復(fù)時(shí)間以及每輪通信耗時(shí)是否穩(wěn)定。這需要無(wú)損、低延遲和接近零抖動(dòng)的網(wǎng)絡(luò)。
CPO量產(chǎn)進(jìn)行時(shí)
數(shù)據(jù)中心除了芯片耗能之外，網(wǎng)絡(luò)設(shè)備的功耗同樣不容忽視。傳統(tǒng)可插拔光模塊速率提升到800Gb/s和1.6Tb/s后，其內(nèi)部電芯片的耗電量激增，信號(hào)損耗、驅(qū)動(dòng)功耗和散熱壓力都會(huì)明顯提升。
利用CPO（共封裝光學(xué)）技術(shù)，可以把硅光引擎放到交換芯片封裝附近，將高速電信號(hào)的傳輸距離縮短到毫米級(jí)，隨后盡早轉(zhuǎn)換成光信號(hào)，從而減少網(wǎng)絡(luò)功耗和延遲。
Spectrum-X Ethernet Photonics基于Spectrum-6，最高交換容量達(dá)到409.6Tb/s。與可插拔光模塊方案相比，CPO可以獲得5倍網(wǎng)絡(luò)能效，并將AI應(yīng)用的持續(xù)運(yùn)行時(shí)間提高5倍。同時(shí)，CPO不需要傳統(tǒng)DSP重定時(shí)器，可以縮短網(wǎng)絡(luò)延遲。
MGX和DSX把協(xié)同設(shè)計(jì)延伸到機(jī)房
英偉達(dá)MGX提供開(kāi)放式模塊化參考架構(gòu)，使 OEM、ODM 和生態(tài)系統(tǒng)合作伙伴能夠更快地構(gòu)建加速系統(tǒng)，對(duì)于系統(tǒng)組裝商而言，MGX 通過(guò)使用共享參考設(shè)計(jì)將每個(gè)平臺(tái)的研發(fā)成本降低 200 – 400 萬(wàn)美元。
雖然 NVIDIA MGX NVL 機(jī)架提供大規(guī)?？v向擴(kuò)展的計(jì)算域，但代理式 AI 工作流需要高度專業(yè)化的節(jié)點(diǎn)來(lái)實(shí)現(xiàn)超低延遲推理、CPU 沙盒和用于 KV 緩存的加速上下文內(nèi)存。為滿足這些不同需求，Vera Rubin 推出了 MGX ETL 機(jī)架架構(gòu)，這是一種完全可配置的全新 MGX 機(jī)架，其設(shè)計(jì)采用 Spectrum-X 以太網(wǎng)主干或直接芯片到芯片主干，利用與 MGX NVL 機(jī)架相同的機(jī)架級(jí)生態(tài)系統(tǒng)。
MGX ETL與MGX NVL采用相同的機(jī)架尺寸，并共享主要機(jī)械結(jié)構(gòu)、銅纜背板、供電和液冷部件。OEM和ODM可以在相同的機(jī)房條件與供應(yīng)鏈體系下，構(gòu)建GPU計(jì)算、CPU沙箱、LPX推理和BlueField-4 STX存儲(chǔ)機(jī)柜，減少不同系統(tǒng)分別開(kāi)發(fā)和驗(yàn)證的成本。
功率管理也進(jìn)入?yún)f(xié)同設(shè)計(jì)范圍。AI訓(xùn)練和推理會(huì)產(chǎn)生快速負(fù)載變化，在機(jī)架層面，Vera Rubin NVL72 通過(guò)功率平滑技術(shù)來(lái)平衡功率波動(dòng)，并集成了比 Blackwell Ultra 多 6 倍的局部能量緩沖，能夠在源端直接吸收快速的功率瞬變，這套機(jī)制可以將峰值電流需求降低最高25%。另外，MGX還支持45℃進(jìn)水溫度和5000A液冷母排，較高的進(jìn)水溫度可以減少部分地區(qū)對(duì)壓縮機(jī)制冷的依賴。
NVIDIA Vera Rubin DSX 則是一個(gè) AI 工廠平臺(tái)，可為共同設(shè)計(jì)的 AI 基礎(chǔ)設(shè)施 (從芯片到電網(wǎng)) 提供藍(lán)圖和參考設(shè)計(jì)。AI工廠建設(shè)前，廠商可以在Omniverse數(shù)字孿生中模擬網(wǎng)絡(luò)協(xié)議、端口配置、機(jī)柜布局、功率分配和冷卻效果，提前進(jìn)行系統(tǒng)仿真，從而提前進(jìn)行各類指標(biāo)評(píng)估，避免返工。
通過(guò)協(xié)同設(shè)計(jì)，拓展整條推理供應(yīng)鏈
Vera Rubin最值得關(guān)注的變化，可能并非某一顆芯片增加了多少算力，而是英偉達(dá)開(kāi)始圍繞推理和智能體任務(wù)重新分配系統(tǒng)資源，Vera Rubin也是英偉達(dá)迄今為止的集大成者。
GPU仍然是主要的模型計(jì)算引擎，CPU需求上升后，英偉達(dá)用Vera覆蓋智能體沙箱、強(qiáng)化學(xué)習(xí)和通用數(shù)據(jù)處理；Decode對(duì)延遲的要求，使得LPU+SRAM進(jìn)入了推理流程中；KV Cache容量持續(xù)擴(kuò)大，則利用BlueField-4和CMX形成新的存儲(chǔ)形態(tài)；最后用不同的網(wǎng)絡(luò)連接拓?fù)鋵⑾到y(tǒng)構(gòu)成POD甚至更大規(guī)模的集群，諸如NVLink、Spectrum-X、InfiniBand和Spectrum-XGS等等，從而打造出真正的AI工廠。
當(dāng)基礎(chǔ)設(shè)施擴(kuò)展到POD規(guī)模，AI系統(tǒng)的評(píng)價(jià)維度理應(yīng)隨之增加。單顆GPU的峰值性能仍然重要，Token生成速度、單用戶延遲、每瓦吞吐量、GPU有效利用率、系統(tǒng)持續(xù)運(yùn)行時(shí)間和CPU沙箱處理能力，也開(kāi)始共同決定一座AI工廠的實(shí)際產(chǎn)出。
Vera Rubin代表了英偉達(dá)在推理時(shí)代的一次能力邊界擴(kuò)張。產(chǎn)品定義已不只是GPU和服務(wù)器，也包括不同處理器之間的任務(wù)分工、機(jī)柜之間的網(wǎng)絡(luò)連接，以及從功率分配、液冷到機(jī)房建設(shè)的整體協(xié)同。
