【導(dǎo)讀】單線程性能、核心密度、機(jī)架吞吐量這些指標(biāo)本身沒錯(cuò)，但回答不了客戶真正的問題：在給定延遲、功耗和成本下，基礎(chǔ)設(shè)施到底能完成多少有價(jià)值的智能體工作？英特爾最近的分析給出了一個(gè)務(wù)實(shí)視角：以739個(gè)Claude Code會(huì)話為樣本的代碼智能體工作流顯示，單個(gè)請求下CPU處理時(shí)間占比不到1%，32個(gè)請求并發(fā)時(shí)升至15%——新增延遲大多來自調(diào)度排隊(duì)，而非計(jì)算。更快的核心解決不了排隊(duì)，而排隊(duì)會(huì)讓GPU跟著空轉(zhuǎn)。英特爾由此提出用“每機(jī)架實(shí)際交付的智能體數(shù)量”替代理論吞吐量，衡量系統(tǒng)在功耗和成本約束下真正能穩(wěn)定跑完多少工作流。
并發(fā)改變答案
在單智能體循環(huán)中，衡量性能是一件很簡單的事情：每一步都能完成得更快，那么整個(gè)工作流的速度也會(huì)變快。然而，系統(tǒng)往往并非單智能體循環(huán)，而是同時(shí)運(yùn)行很多的智能體，共同爭搶CPU、內(nèi)存、I/O以及加速器等資源。在這種高負(fù)載的情況下，系統(tǒng)的瓶頸也會(huì)隨之改變。
近期的一項(xiàng)公開分析，以739個(gè)匿名Claude Code會(huì)話為樣本，包含多輪推理、代碼生成和工具調(diào)用的代碼智能體工作流。該分析顯示，單個(gè)請求下CPU 端的處理和等待時(shí)間占總延遲的不到1%，而當(dāng)32個(gè)請求并發(fā)時(shí)，這一比例最高可提升到15%。新增的延遲大部分源于調(diào)度與排隊(duì)，而非計(jì)算。
更快的核心可以提高任務(wù)的執(zhí)行速度，但它無法避免排隊(duì)的現(xiàn)象。
此類等待，同樣會(huì)波及系統(tǒng)中最昂貴的組件——GPU。同樣在這個(gè)分析中，針對代碼執(zhí)行智能體的研究預(yù)估，GPU的有效工作時(shí)間僅占整體實(shí)際運(yùn)行時(shí)長的50%~60%。當(dāng)智能體等待數(shù)據(jù)庫、檢索系統(tǒng)或沙箱返回結(jié)果時(shí)，GPU也會(huì)跟著陷入空轉(zhuǎn)。在這里，阿姆達(dá)爾定律依然適用：
“最昂貴的加速器，其實(shí)是那些正在等待系統(tǒng)其他組件響應(yīng)的加速器。”
衡量理論容量，不如衡量實(shí)際交付的智能體工作流
英特爾提出了一個(gè)更實(shí)用的衡量指標(biāo)，即每機(jī)架實(shí)際交付的智能體數(shù)量，也就是說，在既定功耗和成本范圍內(nèi)，一個(gè)機(jī)架能夠在規(guī)定的吞吐量、質(zhì)量和延遲要求下，穩(wěn)定完成的智能體工作流數(shù)量。
如何理解實(shí)際交付容量呢？
每機(jī)架實(shí)際交付的智能體數(shù)量=每機(jī)架理論智能體數(shù)×路由效率×資源平衡度×卸載效率
理論容量反映機(jī)架可用的計(jì)算、內(nèi)存和帶寬資源。路由效率反映任務(wù)的部署分配效果。資源平衡度體現(xiàn)因瓶頸和排隊(duì)造成的損失。卸載效率反映將基礎(chǔ)設(shè)施任務(wù)從通用核心移出后，系統(tǒng)所釋放出的容量。隨附的白皮書對這些因素及具體方法作了更詳細(xì)的說明。
真正的容量上限，不是理論吞吐量圖表的最高點(diǎn)，而是增加智能體數(shù)量后，延遲超過客戶目標(biāo)的那個(gè)點(diǎn)。圖1給出了一個(gè)示例說明。
圖1：容量指的是延遲曲線與目標(biāo)閾值的交點(diǎn)。根據(jù)系統(tǒng)余量進(jìn)行路由、任務(wù)卸載和狀態(tài)分層，會(huì)將曲線拐點(diǎn)向右移動(dòng)（示意圖）。
英特爾打造完整的工作流解決方案
英特爾不是在“更快的核心”和“更多的核心”之間二選一，而是在構(gòu)建一個(gè)系統(tǒng)，讓兩者都轉(zhuǎn)化為實(shí)際的工作產(chǎn)出。
保持狀態(tài)可用。帶寬讓智能體持續(xù)運(yùn)行，容量則防止它重新啟動(dòng)。借助英特爾至強(qiáng)6平面內(nèi)存模式（Flat Memory Mode），CXL附加內(nèi)存與原生DDR5可以共享同一個(gè)地址空間。根據(jù)英特爾與SAP的聯(lián)合評估，該方案的性能能夠達(dá)到全DDR5配置的96%，與此同時(shí)，內(nèi)存TCO降低約25%。這為企業(yè)以更低成本維持更多活躍會(huì)話，提供了一條可行之路。
把容量還給系統(tǒng)。英特爾?數(shù)據(jù)保護(hù)與壓縮加速技術(shù)（英特爾? QAT）、數(shù)據(jù)流加速器（英特爾? DSA）和存內(nèi)分析加速器（英特爾? IAA），可卸載原本會(huì)占用通用核心的基礎(chǔ)設(shè)施任務(wù)。公開資料顯示，使用英特爾IAA進(jìn)行快照壓縮，快照完成速度可提高約1.2倍。卸載不再只是功能列表上的選項(xiàng)，而是將容量還給客戶。
按任務(wù)需求匹配算力資源。編排調(diào)度、工具執(zhí)行、數(shù)據(jù)服務(wù)與狀態(tài)遷移的算力需求各不相同。至強(qiáng)產(chǎn)品系列依托統(tǒng)一架構(gòu)，既有性能核的高單線程性能，也有能效核的高密度吞吐，這讓系統(tǒng)有能力為每一階段的工作流，匹配最合適的執(zhí)行配置。
避免加速器陷入閑置。當(dāng)然，企業(yè)既需要CPU，也需要專為智能體優(yōu)化的GPU，英特爾正在籌備的Crescent Island GPU，正是為滿足這一需求而來。然而，如果GPU持續(xù)處在等待狀態(tài)，那它終究就只是一塊昂貴的硅片，白白消耗機(jī)架電力而已。這就是CPU在當(dāng)下，依然事關(guān)重要的原因。至強(qiáng)承擔(dān)了智能體系統(tǒng)總調(diào)度者的角色，維持會(huì)話運(yùn)行、工具調(diào)用、數(shù)據(jù)流通等，持續(xù)為加速器供給任務(wù)。
更具價(jià)值的評測標(biāo)準(zhǔn)
所有智能體AI的性能聲明，也包括英特爾自己所發(fā)布的在內(nèi)，都應(yīng)標(biāo)明并發(fā)規(guī)模、延遲目標(biāo)，以及理論性能與實(shí)際交付之間的損耗。一旦缺少這些，測試數(shù)據(jù)所代表的，也只是潛在上限，而無法反映實(shí)際的生產(chǎn)力。
英特爾將基于真實(shí)智能體軌跡，以明確的P99延遲目標(biāo)為基準(zhǔn)，公開單機(jī)柜智能體數(shù)量、路由效率、固定功能卸載所帶來的性能增益、GPU掛載系統(tǒng)的主機(jī)側(cè)效率，以及機(jī)柜功耗約束下的每瓦智能體數(shù)量等。
單線程性能重要，核心密度也重要。但最終勝出的系統(tǒng)，一定能讓每個(gè)線程都有活干、每個(gè)會(huì)話都保持活躍、每個(gè)加速器都充分運(yùn)轉(zhuǎn)。
行業(yè)花了太多時(shí)間盤點(diǎn)機(jī)柜的硬件規(guī)格?，F(xiàn)在，是時(shí)候衡量它的實(shí)際產(chǎn)出了。
結(jié)論
英特爾這套思路，是把智能體AI性能評測從“跑分邏輯”拉到“交付邏輯”。理論容量從來不是瓶頸的終點(diǎn)，延遲曲線與業(yè)務(wù)目標(biāo)的交點(diǎn)才是。至強(qiáng)6平面內(nèi)存模式讓CXL附加內(nèi)存與DDR5共享地址空間，以約25%內(nèi)存TCO降幅換取96%性能；QAT、DSA、IAA把基礎(chǔ)設(shè)施任務(wù)從通用核心卸下，把容量還給業(yè)務(wù)；性能核與能效核搭配讓不同階段匹配最合適算力；至強(qiáng)作為總調(diào)度者為GPU持續(xù)供給任務(wù)。
