英伟达推出全新推理上下文(Inference Context)内存存储平台(ICMSP),通过将推理上下文卸载(Offload)至NVMe SSD的流程标准化,解决KV缓存容量日益紧张的问题。该平台于 2026 年国际消费电子展(CES 2026)正式发布,致力于将GPU的KV缓存(Key-Value Cache)扩展至基于 NVMe 的存储设备,并获得英伟达 NVMe 存储合作伙伴的支持。此消息...
网页链接英伟达推出全新推理上下文(Inference Context)内存存储平台(ICMSP),通过将推理上下文卸载(Offload)至NVMe SSD的流程标准化,解决KV缓存容量日益紧张的问题。该平台于 2026 年国际消费电子展(CES 2026)正式发布,致力于将GPU的KV缓存(Key-Value Cache)扩展至基于 NVMe 的存储设备,并获得英伟达 NVMe 存储合作伙伴的支持。此消息...
网页链接
精彩评论