电子行业AI的MEMORY时刻6:英伟达ICMS平台对SSD使用效果好

广发证券股份有...02-02

英伟达推出AI 推理上下文存储平台ICMS。随用户多轮会话与Agent 持续运行带来的KVCache 不断累积,系统对可长期留存并按需回填的分层KVCache 形成刚性需求,推动上下文从HBM 外溢至DRAM、SSD 等分层介质承接。为此,NVIDIA 推出上下文记忆存储架构ICMS,面向Agent 与多轮推理场景提供“长期上下文记忆层”,一方面承载更大规模KVCache,另一方面以低延迟将历史...

网页链接
免责声明:本文观点仅代表作者个人观点,不构成本平台的投资建议,本平台不对文章信息准确性、完整性和及时性做出任何保证,亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白
发表看法