广发证券:SRAM提升AI推理速度 相关架构进入主流大厂视野

智通财经02-27

智通财经APP获悉,广发证券发布研报称,在大模型应用中,相比依赖外置HBM,SRAM可显著降低权重与激活数据的访延迟与抖动,从而改善Time-to-First-Token与尾时延表现。目前,Groq与Cerebras都相继推出基于SRAMAI芯片。SRAM架构进入主流视野,根据Groq官网以及市场媒体报道,英伟达此前斥资200亿美元获得Groq的知识产权的非独家授权;OpenAI与Cerebras...

网页链接
免责声明:本文观点仅代表作者个人观点,不构成本平台的投资建议,本平台不对文章信息准确性、完整性和及时性做出任何保证,亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白
发表看法