3,431 Token/s、40PB/s片上SRAM带宽、480GB LPDDR5X、256核Xeon。
Hot Chips 2026当天，NVIDIA和Intel给出了两套差异很大的AI硬件答案。NVIDIA宣布Groq 3 LPX进入全面量产，这套由256颗LPU组成的机架级系统被放进Vera Rubin体系，用来处理对Token生成延迟高度敏感的推理负载。Artificial Analysis随后给出首轮第三方测试：Gemma 4 31B在100K输入上下文下达到3,431 Token/s，10K上下文下为3,382 Token/s。
Intel同时披露Diamond Rapids与Crescent Island。前者将最高256个P-Core、1.28GB LLC、18A-P、Foveros Direct 3D和UCIe-S装进下一代Xeon；后者选择了与高端AI GPU明显不同的路线：32个Xe3P Xe Core、256个XMX、最高480GB LPDDR5X、350W风冷PCIe卡。
智能体AI正在迫使芯片厂商重新回答一个更具体的问题：一枚Token，应该在哪种处理器、哪一级内存、多少瓦电和多少资本开支下生成。
一、从FLOPS到Token经济学，AI推理的评价尺度正在变化
训练时代的硬件竞争相对容易理解。模型规模不断扩大，矩阵运算量持续增加，数据中心关注GPU数量、张量计算能力、HBM容量、显存带宽和纵向扩展互连。只要批量规模（Batch）足够大，GPU就能让大量计算单元并行工作，峰值算力与整体吞吐存在较强相关性。
智能体AI改变了工作负载形态。普通聊天通常是一段提示词进入模型，完成预填充（Prefill）后持续解码（Decode）；智能体则可能先读代码库、调用搜索、运行脚本、查询数据库，再根据结果继续推理，过程中还可能生成子智能体，多次重新进入模型。NVIDIA援引OpenRouter数据称，智能体AI请求平均消耗的Token可以达到普通聊天的约15倍。
一次任务持续时间变长，模型重复调用次数增加，KV Cache不断扩大，CPU调度和网络传输变得频繁。峰值FLOPS依旧是基础能力，但数据中心最终出售的是推理服务，因此几个单位开始更有商业意义：Token/s/user决定单个用户的生成速度；Token/W决定固定电力预算能承载多少推理负载；Token/$对应推理成本；TTFT和长上下文延迟决定智能体在多轮调用过程中的交互体验。
图1｜AI推理指标体系的迁移：从峰值FLOPS进一步转向单位资源约束下的Token产出。制图：本文整理
训练更关注峰值利用率，智能体推理同时考验吞吐、延迟、能效和成本。这也是Groq LPU进入Vera Rubin体系的起点。
二、Rubin已经有22TB/s HBM4，NVIDIA为什么还需要LPU
大模型推理通常可以粗略拆成预填充和解码两个阶段。预填充阶段一次处理大量输入Token，计算注意力并建立KV Cache，矩阵规模大、并行度高，GPU拥有的大量张量计算单元容易被充分利用，整体更偏计算密集型。
解码阶段连续生成Token。模型每向前走一步，都需要访问权重和KV Cache，再计算下一枚Token。尤其在小批量、追求单用户响应速度时，可并行展开的工作减少，内存访问和单轮执行延迟的占比随之提高。
图2｜预填充与解码对硬件的要求不同：前者强调吞吐与规模效率，后者更敏感于内存访问、延迟与抖动。制图：本文整理
NVIDIA的Rubin架构资料将解码描述为明显受内存子系统约束的阶段。为缓解这一瓶颈，Rubin单GPU提供288GB HBM4和最高22TB/s带宽，相比Blackwell约8TB/s显著提升。Rubin同时拥有3360亿晶体管、224个SM、896个张量核心以及最高50 PFLOPS NVFP4推理计算能力。
Rubin本身仍覆盖预填充、解码注意力、大规模MoE和高并发推理。高吞吐与极低单Token延迟对应不同的最优硬件结构，Groq LPU由此获得明确的系统位置。
三、Groq把SRAM放到推理架构中央
Groq 3 LPX由256颗Groq 3 LP30 LPU组成。整个机架拥有128GB片上SRAM、40PB/s SRAM带宽、640TB/s纵向扩展带宽以及315 PFLOPS FP8算力；单颗LPU大约配置500MB SRAM，片上带宽约150TB/s。
HBM与SRAM承担的功能不同。HBM提供数百GB大容量存储，可以容纳模型权重、KV Cache和中间状态；SRAM距离计算单元更近，访问延迟更低、带宽更高，但单位容量占用的芯片面积明显更大。
从工程取舍看，HBM负责大容量数据驻留，SRAM负责把当前高频访问的数据尽量留在计算单元附近。Rubin同时解决容量和大规模并行计算，Groq则把更多硅面积投入高速片上存储，以压低低延迟推理路径的数据访问成本。
图3｜Groq LPU的三项关键设计：片上SRAM、确定性执行与320 Byte细粒度流水。制图：本文整理
四、确定性执行：大量调度被提前到编译阶段
传统GPU需要面对复杂的动态负载。运行过程中，硬件和软件持续处理线程束调度、缓存状态、内存访问、同步和互连资源竞争。这套机制带来很强的通用性，也会让实际执行时间受到运行时状态影响。
Groq采用确定性执行（Deterministic Execution）。NVIDIA披露，Groq 3 LPX编译器能够看到256颗LPU中的计算资源、128GB SRAM以及每颗芯片96条、单条112Gbps的C2C链路，并在任务开始前规划大量执行动作，形成接近时钟周期级别的调度。
计算何时发生、数据放在哪里、何时经过哪条C2C链路移动，大量路径可以提前确定。Groq用确定性调度换取更稳定的低延迟；GPU保留更强的运行时适应能力，以覆盖更广泛的计算任务。
五、320 Byte流水：把通信时间塞进计算过程
Groq 3 LPU的计算、内存访问和设备间传输围绕320 Byte向量组织，核心价值在于把数据传输切成更细的执行粒度。
传统分布式计算中，大段矩阵计算完成以后再启动通信，容易形成通信尾延迟。Groq把数据搬运设计成显式、可编排的执行动作：当计算结果足以形成一个320 Byte向量，就可以开始通过C2C传输，同时继续处理下一组数据。计算和通信由此形成更细粒度的重叠。
对于长上下文、小批量推理，这类优化持续压低每轮解码的尾部等待，并提高Token输出的稳定性。
六、GPU与LPU怎么配合：NVIDIA开始拆分Transformer内部任务
图4｜Rubin GPU、Groq LPX与Vera CPU的异构协作：不同计算域通过统一低延迟Fabric和调度软件协同，并非把LPX直接挂进NVLink GPU域。制图：本文整理
Groq进入Vera Rubin之后，关键在于同一个模型如何跨架构运行。NVIDIA目前披露了三类典型方式。
第一类是预填充/解码分离。Rubin GPU完成长上下文预填充并构建KV Cache，随后LPX执行低延迟解码，这是最直观的GPU+LPU分工。
第二类进入Transformer层内部。Rubin执行注意力计算并维护大容量KV Cache；Groq承担对延迟敏感的前馈网络（FFN）或MoE专家计算。GPU和LPU在每一层之间交换中间状态。
第三类是投机解码（Speculative Decoding）。运行在LPU上的小型草稿模型快速预测多个候选Token，大型主模型再由GPU批量验证；预测准确时，一次大模型前向计算可以确认多枚Token。
Rubin NVL72内部依靠NVLink 6和NVSwitch连接GPU，Groq LPX内部依靠C2C构成256颗LPU的低延迟域。Rubin继续承担解码注意力、大容量KV Cache和高吞吐推理服务，Groq LPX集中优化对延迟最敏感的执行路径；跨计算域则由AI算力工厂网络与Dynamo等调度软件协调。
NVIDIA的产品边界由单一GPU进一步延伸为系统级Token生产能力：CPU、GPU、LPU、DPU、网卡、交换芯片和推理软件共同参与一次智能体任务。
七、3,431 Token/s：Groq在长上下文下维持高输出速度
Artificial Analysis在Gemma 4 31B上的首轮第三方测试显示，100K输入上下文下Groq 3 LPX达到3,431 Token/s，当时最快公开服务端点约870 Token/s；10K输入下为3,382 Token/s，最快公开服务端点约1,402 Token/s。该指标统计首枚Token返回后的持续输出速度。
输入上下文从10K放大到100K以后，LPX的输出速度没有明显下降。对于代码智能体、研究智能体这类需要长期携带会话历史和大量文件内容的工作负载，这种稳定性具有直接价值。
八、30倍每兆瓦吞吐、35倍Token成本：竞争尺度转向系统能效
NVIDIA还公布了另一组系统级数据：在SemiAnalysis AgentX的DeepSeek V4 Pro工作负载上，Vera Rubin NVL72在160 Token/s/user这一交互目标下，NVIDIA测试显示每兆瓦吞吐量最高达到GB300 NVL72的30倍，每百万Token成本最高降低约35倍。这组结果对应整套Vera Rubin推理系统，目前仍待SemiAnalysis审核。
从投资角度看，这类系统指标比单颗芯片峰值算力更接近数据中心的商业约束。电力已经成为大型AI数据中心的硬约束：固定一兆瓦能够承载多少高交互智能体，决定可售推理容量；每百万Token基础设施成本直接影响推理业务毛利。
九、Intel的答案不同：Diamond Rapids先从服务器控制面下手
Intel在Hot Chips展示的第一条主线是Diamond Rapids。官方规格包括最高256个P-Core、1.28GB LLC、16通道12,800MT/s内存以及128条PCIe Gen6/CXL 3.0通道。这颗Xeon同时引入Intel 18A-P、Foveros Direct 3D与UCIe-S。
图5｜Diamond Rapids 3D芯粒结构：先进制程优先留给CPU核心，缓存、互连与I/O按功能拆到更合适的工艺节点。制图：本文整理
相比256核，Diamond Rapids的芯粒（Chiplet）组织方式更值得研究。Intel把最依赖先进工艺性能和密度的CPU核心放到18A-P，再通过Foveros Direct 3D与Intel 3-T Base Tile/LLC组合；互连与I/O使用Intel 3，并通过UCIe-S进行芯粒间连接。
先进制程优先留给性能敏感的CPU核心，大面积缓存、互连和I/O放到更合适的工艺节点，再依靠3D封装重新组合。对于超大规模服务器CPU，这有利于兼顾良率、成本与物理布线。
16通道12,800MT/s如果按每通道64-bit计算，理论峰值内存带宽约为1.64TB/s。
CPU需要如此高的内存与I/O能力，因为智能体AI服务器中大量任务仍难以交给GPU：工具调用、JSON解析、数据预处理、检索、代码执行、网络和存储访问，以及多个智能体之间的调度，都包含大量控制流和不规则计算。CPU在AI服务器里的角色开始从传统主机向智能体控制平面延伸。
Diamond Rapids加入APX同样符合这个方向。APX将x86通用寄存器从16个增加到32个。Intel通用编译测试显示，启用APX的代码平均减少约10%的内存读取和20%以上的内存写入，对大量小函数、对象操作与控制流组成的软件执行环境具有明确的架构价值。
十、Crescent Island为什么不用HBM：Intel在换一套优化函数
Intel另一颗更值得观察的芯片是Crescent Island。官方已经确认的规格包括32个Xe3P Xe Core、256个XMX、最高480GB LPDDR5X以及350W风冷PCIe形态。
Intel目前尚未公布Crescent Island最终显存总线宽度和显存带宽，因此市场上的数百GB/s推算值不纳入本文产品规格。
图6｜HBM4与LPDDR5X对应不同的优化函数：前者追求极致带宽与吞吐，后者强调更大容量、更低功耗与企业部署经济性。制图：本文整理
Rubin追求288GB HBM4、22TB/s单GPU带宽、NVLink纵向扩展和高密度液冷AI算力工厂；Crescent Island则把资源放在最高480GB容量、350W、PCIe和风冷部署。Intel用更低的内存带宽密度，换取更大的单卡容量、更低功耗和较低服务器改造成本。
如果企业部署的模型、KV Cache和上下文状态需要数百GB显存，单卡容量不足就意味着模型切分、多卡通信、更高服务器功耗与更复杂的软件部署。480GB单卡容量提供另一种选择：尽量让模型驻留在一张PCIe卡内。
Crescent Island的峰值Token速度大概率难以与Rubin这类HBM4 GPU竞争，但企业私有化推理、低并发长上下文和既有风冷服务器改造，并不一定要求最高带宽。Intel押注的需求可以概括为：先解决“装得下、跑得起、机房不用大改”，再追求极限Token速度。
十一、NVIDIA拆Transformer，Intel拆服务器
把两家公司放到一起看，Hot Chips没有给出一条统一的AI硬件答案。NVIDIA已经把优化尺度压到Transformer内部：预填充、解码、注意力计算、FFN/MoE、投机解码和智能体控制任务，可以按照负载性质分配到Rubin GPU、Groq LPU和Vera CPU。
Intel处理的是另一层问题。Diamond Rapids把CPU核心、LLC、互连和I/O分配到不同工艺节点，再通过Foveros Direct 3D和UCIe-S组合；Crescent Island则用LPDDR5X换取480GB大容量、350W和PCIe风冷部署。
两家公司选择不同，根源在目标客户和约束条件不同。高端AI算力工厂的核心约束越来越接近电力与Token产出；企业级推理的核心约束更接近容量、部署条件和总拥有成本。
十二、投资层面，下一步应该盯工程数据，而不是发布会参数
NVIDIA这条路线已经完成较多技术验证。Groq 3 LPX进入全面量产，Artificial Analysis给出第一轮第三方解码速度测试，Nebius等客户开始部署，Vera Rubin本身也进入多个云厂商。下一阶段真正影响商业价值的变量，是LPX能否进入更多大型AI算力工厂，以及GPU+LPU异构推理在真实生产环境中的利用率、稳定性和TCO。
尤其值得观察的是，Groq创造的究竟是新的高溢价低延迟Token需求，还是把原本由GPU执行的一部分解码工作迁移到了LPU。前者会扩大NVIDIA整套AI算力工厂的收入池；后者则需要继续观察整机ASP与GPU需求之间的净影响。
Intel目前所处阶段要早得多。Diamond Rapids展示了清晰的制造和系统架构方向，但18A-P良率、Foveros Direct规模化量产以及服务器客户放量仍需后续验证。
Crescent Island的验证点更直接：480GB LPDDR5X和350W风冷PCIe卡构成鲜明定位，但Intel尚未公布最终显存带宽、FP4/FP8峰值性能以及主流LLM的Token/s、TTFT和Token/W。在这些数据出现以前，Crescent Island属于差异化明确的企业级推理路线，产品竞争力仍待实测确认。
训练时代习惯问一颗GPU拥有多少FLOPS。智能体AI继续把问题推向系统深处：这枚Token应该由GPU还是LPU生成？权重与KV Cache应该留在HBM、SRAM还是LPDDR？固定一兆瓦电力，最终能稳定交付多少可售Token？
NVIDIA开始把Transformer内部不同阶段交给不同处理器；Intel则在服务器内部重新分配制程、封装、内存和I/O成本。芯片仍是基础，但决定下一阶段竞争力的单位，越来越接近每瓦、每美元、每单位延迟能够交付多少有效Token。
数据来源：NVIDIA、Intel、Artificial Analysis及Hot Chips 2026公开资料，截至2026年8月25日。官方图片版权归原权利人所有。仅供学习研究，不构成投资建议
精彩评论