高通发布 Cloud AI 100 Ultra 云推理卡,可运行千亿参数大模型
品玩11月15日讯,高通现已发布旗下云 AI 推理加速卡 Cloud AI 100 Ultra ,该产品专为生成式 AI 和大语言模型打造。
高通表示, Cloud AI 100 Ultra 可以在单张 150W 的卡上部署 100B 参数模型,在两张卡上部署 175B 参数模型,通过堆栈还可以支持更大尺寸的模型。高通表示,Cloud AI 100 平台在最新基准测试结果的所有加速卡中均处于领先地位。
免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。
点赞
举报
登录后可参与评论

暂无评论

