【導讀】2026 年 11 月 5 日，Supermicro（美超微，SMCI）宣布攜手 IBM、NVIDIA 推出全新 KV Cache 存儲解決方案。整套方案搭載 AMD EPYC 9005（Turin）處理器的 Petascale 全閃存存儲服務器、IBM Storage Scale、NVIDIA Dynamo 推理框架與 Spectrum-X 以太網，將 KV 緩存卸載至共享存儲，突破 GPU 顯存限制。基于 1200 億參數大模型測試，13 萬 token 輸入下首個詞元生成速度提升最高 56 倍，顯著提升 GPU 利用率與推理吞吐量，適配 AI 智能體、RAG、多輪對話等長上下文業務。
KV Cache high-performance platform for large-scale AI inference
這些技術相結合，可大幅縮短 AI 模型開始生成響應所需的時間。隨著企業采用智能體和長上下文 AI 工作流，這一優勢變得尤為重要。利用本地 GPU 內存以外的存儲空間擴展 KV cache 容量，可提高 GPU 利用率和推理吞吐量，同時支持 KV cache 內容的高可用性，以及 KV cache 容量的無中斷擴展。由此構建的推理架構更具可擴展性和韌性，能夠帶來更快捷、響應更靈敏的 AI 體驗。
Supermicro 總裁兼首席執行官 Charles Liang 表示：“隨著 AI 工作負載從訓練擴展到推理，企業和新型云服務商在部署智能體 AI，以及長上下文、多輪交互生成式 AI 所需的高吞吐量推理工作負載時，需要消除瓶頸，以提高 GPU 效率。我們與 IBM 和 NVIDIA 聯合推出的解決方案，清晰展現了這些性能優勢。”
推理工作負載包含兩個階段：預填充和解碼。在預填充階段，輸入文本被轉換為詞元（token），再由大語言模型（LLM）處理，生成推理所需的中間鍵值（KV）狀態。通過將這些已計算的 KV 狀態存入持久化 KV cache，系統可以復用這些狀態，而無需為后續請求重新計算相同的上下文。智能體工作流、編程助手、長上下文檢索增強生成（RAG）、多模態 AI 及多輪交互應用，在處理大型代碼庫、文檔、對話、圖像和其他上下文時，可能產生大量 KV 狀態，迅速超出 GPU 和 CPU 的內存容量，因此需要將 KV cache 卸載至大容量共享網絡存儲。
Supermicro、IBM 和 NVIDIA 的 KV cache 解決方案提供了這一持久化存儲層，有助于提升推理效率、吞吐量及可擴展性，同時減少重復計算。
該 KV cache 解決方案為客戶帶來的主要優勢包括：
聯合方案驗證：Supermicro、IBM 和 NVIDIA 開展了廣泛的集群級測試，以衡量性能，測試涵蓋高并發，以及其他工作負載引發網絡流量干擾的場景。
顯著提升推理速度與性能一致性：Supermicro 與 NVIDIA 使用一個擁有 1,200 億參數的大語言模型進行聯合測試。結果顯示，在提示輸入長度為 13 萬個詞元時，持久化 KV cache 可使首個詞元生成時間（TTFT）比未使用 cache 時快達 56 倍。[1] 當輸入長度從 3 萬個詞元增加至 13 萬個詞元時，使用 KV cache 的系統，其 TTFT 僅增加 0.377 秒，而未使用 KV cache 的系統則增加 29.55 秒，從而為長上下文工作負載提供更一致的性能。
提高 GPU 利用率和吞吐量：通過將頻繁復用的上下文保存在 GPU 內存之外并保持可用，該解決方案有助于減少 GPU 空閑時間、提高推理吞吐量，并在無需同比例增加 GPU 資源的情況下支持更高并發。
企業級韌性與可信 AI 運營：持久化、高可用的 KV cache 有助于保護已緩存的推理狀態，同時支持 GPU 節點和集群之間的共享訪問，為大規模 AI 服務提供更強的韌性和更高的存儲效率。
經過驗證、可直接部署的 AI 基礎設施：Supermicro、IBM 和 NVIDIA 在高并發及工作負載相互干擾的場景下，聯合驗證了這一集成架構。該架構結合了 NVIDIA Dynamo、IBM Storage Scale 軟件、Supermicro Petascale 服務器及 NVIDIA Spectrum-X 網絡。
加速部署服務：Supermicro 的工廠機架集成及現場部署服務，可將該解決方案的部署時間從數周縮短至數天。
“企業需要從根本上改進 AI 推理的擴展方式。IBM、Supermicro 和 NVIDIA 正攜手提供高性能、富有韌性的 KV cache 解決方案，幫助客戶充分發揮 GPU 投資價值，讓存儲容量獨立于計算資源進行擴展，并顯著提高基礎設施效率。”IBM 存儲業務總經理 Sam Werner 表示。“這項合作是推動企業 AI 推理向更易擴展、更可靠、更具成本效益方向發展的重要一步。”
NVIDIA AI 推理產品負責人 Shruti Koparkar 表示：“智能體 AI 和長上下文應用需要在多個步驟之間高效復用上下文。NVIDIA Dynamo 有助于編排分布式推理，讓企業從每塊 GPU 獲得更多可用吞吐量。通過將 NVIDIA Dynamo 和 Spectrum-X 以太網，與 Supermicro Petascale 存儲服務器及 IBM Storage Scale 相結合，這套 KV cache 解決方案構建了一個高性能共享存儲層，能夠減少重復計算、縮短首個詞元生成時間，并幫助客戶擴展具備韌性的 AI 推理服務。”
關于 Super Micro Computer, Inc.
Supermicro（納斯達克股票代碼：SMCI）是應用優化整體 IT 解決方案的全球領軍企業。Supermicro 在加利福尼亞州圣何塞成立并運營，致力于為企業、云、AI 和 5G Telco/Edge IT 基礎設施提供率先進入市場的創新技術。我們是一家提供服務器、人工智能、存儲、物聯網、交換機系統、軟件和支持服務的整體IT解決方案提供商。Supermicro 的主板、電源和機箱設計專業知識進一步推動了我們的開發和生產，為我們的全球客戶實現了從云到邊緣的下一代創新。我們的產品均在公司內部（包括美國、亞洲和荷蘭）完成設計和制造，通過全球運營實現規模和效益，從而優化總體擁有成本 (TCO)，并能夠（通過綠色計算）減少對環境的影響。屢獲殊榮的 Server Building Block Solutions? 產品組合通過我們靈活可重復使用的構建塊，為客戶提供了豐富的可選系統產品系列，用于優化其確切的工作負載和應用。這些構建塊支持全系列外形規格、處理器、內存、GPU、存儲、網絡、電源和冷卻解決方案（空調、自然空氣冷卻或液體冷卻）。
結論
這套三方聯合 KV Cache 平臺，直擊當前長上下文、智能體 AI 推理的核心瓶頸：GPU 顯存容量有限、長 token 場景下首詞延遲飆升、GPU 算力浪費。它跳出 “靠堆疊 GPU” 的傳統思路，把 KV 緩存放到獨立、可橫向擴展的共享全閃存存儲中，實現算力與存儲資源解耦擴容。集群級驗證結果證明，在高并發、網絡干擾場景下，方案依然保持穩定的推理延遲，同時依托 Supermicro 機架集成服務縮短交付周期。對于云服務商、企業 AI 平臺而言，該方案可以更好釋放 GPU 投資價值，支撐 RAG、AI 智能體、代碼助手等復雜生成式業務規模化落地。
