存储概念股盘前受压 闪迪(SNDK)跌超2% 谷歌推出压缩算法TurboQuant

金吾财讯 | 存储概念股盘前受压，闪迪(SNDK)跌超2%，西部数据(WDC)跌1.55%，希捷科技(STX)跌1.26%，美光科技(MU)跌1.25%。谷歌近日推出了一种可能降低人工智能系统内存需求的压缩算法TurboQuant。根据谷歌介绍，TurboQuant压缩技术旨在降低大语言模型和向量搜索引擎的内存占用。该算法主要针对AI系统中用于存储高频访问信息的键值缓存（key-value cache）瓶颈问题。随着上下文窗口变大，这些缓存正成为主要的内存瓶颈。TurboQuant可在无需重新训练或微调模型的情况下，将键值缓存压缩至3bit精度，同时基本保持模型准确率不受影响。对包括Gemma、Mistral等开源模型的测试显示，该技术可实现约6倍的键值缓存内存压缩效果。