【導(dǎo)讀】MLCommons最新發(fā)布的MLPerf Inference v6.1基準測試結(jié)果顯示，英特爾依托持續(xù)的全棧軟件優(yōu)化，在硬件配置不變的前提下，顯著提升至強6處理器與銳炫Pro B系列GPU的AI推理性能。本次測試不僅實現(xiàn)多款主流大模型推理效率的大幅躍升，測試覆蓋場景、產(chǎn)品型號與生態(tài)參與度也同步擴容。這些成績的背后，同樣體現(xiàn)了客戶和生態(tài)伙伴日益深入的參與，越來越多的系統(tǒng)選擇在英特爾平臺上完成驗證，覆蓋更多模型、更多工作負載以及更豐富的部署場景。
在與MLPerf v6.0測試相同的芯片和插槽配置下，英特爾? 至強? 6980P處理器在Llama 3.1 8B Server測試中實現(xiàn)了2.4倍的吞吐量提升，Offline測試中實現(xiàn)了56%1的吞吐量提升。值得一提的是，這些性能提升全部來源于軟件層面的優(yōu)化。這充分說明了，通過持續(xù)的軟件創(chuàng)新，客戶無需更換已部署的硬件平臺，也能獲得更高性能。英特爾的生態(tài)伙伴也展現(xiàn)出同樣強勁的勢頭。
英特爾數(shù)據(jù)中心事業(yè)部數(shù)據(jù)中心軟件副總裁Bill Pearson表示：“MLPerf Inference v6.1結(jié)果表明，持續(xù)的軟件優(yōu)化，能讓客戶從已部署的硬件中釋放出更為強勁的性能。我們正在不斷強化至強和銳炫 Pro的全棧AI軟件能力，同時擴大平臺所支持的模型、工作負載及系統(tǒng)的范圍。”
隨著AI推理進入實際部署階段，客戶需要的計算平臺，不僅要能支持更大規(guī)模、更多樣化的模型，還要能在長期使用中持續(xù)提升性能，帶來更好的靈活性與價值。英特爾在MLPerf Inference v6.1中的結(jié)果證明，軟件優(yōu)化可以進一步釋放已部署基礎(chǔ)設(shè)施的有效性能，幫助客戶從現(xiàn)有系統(tǒng)中挖掘更多價值，并在CPU與GPU算力之間實現(xiàn)橫向擴展。
客戶與合作伙伴在英特爾平臺上的參與情況也有所提升，從v6.0的29項結(jié)果增至v6.1的39項，第三方驗證不再局限于英特爾自身提交的結(jié)果2。其中，甲骨文（Oracle）首次提交了基于英特爾平臺的結(jié)果；紅帽（Red Hat）首次提交了至強 CPU 的推理結(jié)果；廣達云科技（Quanta Cloud Technology）與超微（Supermicro）則提交了首批采用英特爾銳炫Pro B70 的合作伙伴測試數(shù)據(jù)。
英特爾至強6測試結(jié)果：在MLPerf v6.1中，英特爾進一步擴大了至強處理器的測試范圍。參加測試的至強6 SKU從v6.0的2款增至5款，CPU推理測試數(shù)量也從24項增加到35項。與此同時，至強依然是MLPerf Inference測試中唯一以獨立服務(wù)器CPU完成提交的平臺。
英特爾銳炫Pro B70測試結(jié)果：銳炫的測試結(jié)果進一步顯示了，軟件優(yōu)化對提升AI 模型性能的作用。由四塊英特爾銳炫Pro B70 GPU組成的單節(jié)點系統(tǒng)，可提供128GB顯存，并完成了Llama 3.1 8B、Llama 2 70B、gpt-oss-120B、Whisper以及端到端檢索增強生成（E2E-RAG）等多種模型和應(yīng)用場景的測試提交。在與MLPerf Inference v6.0相同的四卡系統(tǒng)配置下，gpt-oss-120B Server場景性能提升36%，Offline場景性能提升27%，充分體現(xiàn)出英特爾軟件棧持續(xù)優(yōu)化帶來的性能收益3。
全新E2E-RAG基準測試：英特爾參與聯(lián)合開發(fā)了全新的MLPerf Inference v6.1端到端檢索增強生成（E2E-RAG）基準測試，并提交了測試成績。作為本輪測試中最復(fù)雜的全新工作負載之一，測試系統(tǒng)在單次運行中配備了一臺英特爾至強6787P處理器和四塊英特爾銳炫Pro B70 GPU，并將工作負載拆分給CPU和GPU，各自處理AI流水線的不同階段：至強處理器負責嵌入、重排序、向量搜索和小語言模型；銳炫 Pro B70 GPU則負責大語言模型的生成。這一結(jié)果清晰展示出，經(jīng)過優(yōu)化的CPU與GPU可以在完整的AI工作流中高效協(xié)同。
英特爾的優(yōu)化并未止步于基準測試。至強處理器的各項優(yōu)化成果，正不斷被納入主流AI框架，讓客戶無需更改現(xiàn)有的基礎(chǔ)設(shè)施，就能直接享受到軟件改進帶來的提升。同時，對英特爾銳炫Pro B70的優(yōu)化，也將進一步推動未來英特爾GPU在內(nèi)核、框架及推理服務(wù)棧上的演進。
1 基于英特爾提交的MLPerf Inference v6.1（ID：mint-lark-1a28）和MLPerf Inference v6.0（ID：6.0-0057）測試結(jié)果。測試配置：1節(jié)點，2顆英特爾? 至強? 6980P處理器（128核），24條96GB DDR5 MRDIMM 8800 MT/s（共2304GB），無獨立加速卡。Server：1,139.51 vs. 471.54 tokens/s（提升2.4 倍）。Offline：1,916.74 vs. 1,229.56 tokens/s（提升1.56倍）。測試結(jié)果可能未能涵蓋所有公開更新。
2 基于mlcommons.org上發(fā)布的MLPerf Inference v6.1和v6.0封閉式測試組結(jié)果。“英特爾平臺”定義為采用英特爾? 至強? 處理器作為主要計算單元（純CPU推理）或采用英特爾銳炫? Pro GPU作為加速卡提交的測試。合作伙伴/客戶數(shù)量統(tǒng)計不包含英特爾自身提交的測試。MLPerf名稱和Logo是MLCommons 的商標。
3 基于英特爾提交的MLPerf Inference v6.1和MLPerf Inference v6.0（ID：6.0-0101）封閉式測試組結(jié)果。測試配置：1節(jié)點，1顆英特爾? 至強? 698X處理器（86核），4塊英特爾銳炫? Pro B70 GPU（每塊 32GB GDDR6，PCIe Gen5 x16），8條16GB DDR5 6400 MT/s（共128GB）。gpt-oss-120B Server 模式：1,296.87 vs. 951.67 tokens/s（提升36%）。gpt-oss-120B Offline 模式：1,956.40 vs. 1,536.90 tokens/s（提升27%）。軟件配置：基于 Ubuntu 24.04的PyTorch vLLM。測試結(jié)果可能未反映所有公開可用的更新。MLPerf名稱和Logo是MLCommons 的商標。
MLPerf Inference v6.0與v6.1之間的性能對比，建立在硬件類型（處理器或GPU）以及規(guī)格數(shù)量（插槽數(shù)或GPU數(shù)量）均一致的可比配置基礎(chǔ)之上。欲獲取完整系統(tǒng)配置及測試細節(jié)，請參閱MLCommons官方結(jié)果與英特爾性能文檔。
關(guān)于英特爾
英特爾（NASDAQ: INTC）作為行業(yè)引領(lǐng)者，創(chuàng)造改變世界的技術(shù)，推動全球進步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷致力于推進半導(dǎo)體設(shè)計與制造，幫助我們的客戶應(yīng)對最重大的挑戰(zhàn)。通過將智能融入云、網(wǎng)絡(luò)、邊緣和各種計算設(shè)備，我們釋放數(shù)據(jù)潛能，助力商業(yè)和社會變得更美好。
結(jié)論
本次MLPerf v6.1測試成果，印證了軟件優(yōu)化是AI算力持續(xù)提質(zhì)增效的核心抓手。英特爾在不更新硬件設(shè)備的基礎(chǔ)上，通過棧層軟件迭代，讓至強6處理器、銳炫Pro B70 GPU在大模型推理場景中實現(xiàn)顯著性能提升，幫助企業(yè)充分挖掘現(xiàn)有基礎(chǔ)設(shè)施價值，避免硬件重復(fù)投入，有效降低AI部署的綜合成本。
