线性注意力削弱算力需求?SemiAnalysis:Kimi K3将反向拉动英伟达与HBM

格隆汇07-19 19:27

月之暗面旗下大模型Kimi K3采用线性注意力机制,引发市场对英伟达、HBM以及网络设备需求可能受到削弱的担忧。不过,半导体研究机构SemiAnalysis近日给出了截然不同的判断:K3庞大的参数规模和推理架构需求,不仅不会削弱高端AI硬件需求,反而可能进一步强化对英伟达高端GPU、HBM以及高速互联设备的需求。 SemiAnalysis指出,K3参数规模超过2.8万亿,模型权重容量超过1.5TB HBM。即便在相对有限的用户并发场景下,KV缓存仍需要大量卸载至CPU DDR5内存及NVMe存储,HBM空间并不会出现明显富余。更重要的是,月之暗面此前透露,K3的高效推理部署需要至少64颗芯片组成的大规模扩展域架构。这一硬件需求与英伟达GB200/GB300 NVL72等机架级AI系统的设计方向高度匹配。 SemiAnalysis认为,市场此前将线性注意力理解为“削弱GPU需求”的逻辑存在偏差。真正的影响可能恰恰相反:更高效的模型架构降低了AI推理成本,将推动更多应用落地,进而刺激GPU、HBM、DRAM以及网络基础设施的长期需求。

免责声明:本文观点仅代表作者个人观点,不构成本平台的投资建议,本平台不对文章信息准确性、完整性和及时性做出任何保证,亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白
发表看法