智通财经APP获悉,广发证券发布研报称,在大模型应用中,相比依赖外置HBM,SRAM可显著降低权重与激活数据的访延迟与抖动,从而改善Time-to-First-Token与尾时延表现。目前,Groq与Cerebras都相继推出基于SRAMAI芯片。SRAM架构进入主流视野,根据Groq官网以及市场媒体报道,英伟达此前斥资200亿美元获得Groq的知识产权的非独家授权;OpenAI与Cerebras...
网页链接智通财经APP获悉,广发证券发布研报称,在大模型应用中,相比依赖外置HBM,SRAM可显著降低权重与激活数据的访延迟与抖动,从而改善Time-to-First-Token与尾时延表现。目前,Groq与Cerebras都相继推出基于SRAMAI芯片。SRAM架构进入主流视野,根据Groq官网以及市场媒体报道,英伟达此前斥资200亿美元获得Groq的知识产权的非独家授权;OpenAI与Cerebras...
网页链接
精彩评论