英伟达即将推出的推理芯片系统整合了Groq的“语言处理单元”(LPU)技术,采用与传统GPU截然不同的架构,通过更广泛的SRAM集成和3D堆叠技术,专门针对大模型推理中的延迟和内存带宽瓶颈进行优化。该新品可能基于下一代Feynman架构设计,从而大幅降低AI智能体运行的能耗与成本。OpenAI承诺采购并投资300亿美元。英伟达计划在下个月的GTC开发者大会上发布一款整合了Groq“语言处理单元”(...
网页链接英伟达即将推出的推理芯片系统整合了Groq的“语言处理单元”(LPU)技术,采用与传统GPU截然不同的架构,通过更广泛的SRAM集成和3D堆叠技术,专门针对大模型推理中的延迟和内存带宽瓶颈进行优化。该新品可能基于下一代Feynman架构设计,从而大幅降低AI智能体运行的能耗与成本。OpenAI承诺采购并投资300亿美元。英伟达计划在下个月的GTC开发者大会上发布一款整合了Groq“语言处理单元”(...
网页链接
精彩评论