新浪科技讯 5月27日上午消息,全球开源解决方案提供商红帽公司近日宣布启动新开源项目llm-d,以满足生成式AI大规模推理需求。据悉,该项目与创始贡献者CoreWeave、Google Cloud、IBM Research和NVIDIA合作打造,能够利用突破性的大规模生成式AI推理技术,让大语言模型(LLM)推理云能够满足最苛刻的生产服务级目标(SLO)。 据Gartner数据,“到2028...
网页链接新浪科技讯 5月27日上午消息,全球开源解决方案提供商红帽公司近日宣布启动新开源项目llm-d,以满足生成式AI大规模推理需求。据悉,该项目与创始贡献者CoreWeave、Google Cloud、IBM Research和NVIDIA合作打造,能够利用突破性的大规模生成式AI推理技术,让大语言模型(LLM)推理云能够满足最苛刻的生产服务级目标(SLO)。 据Gartner数据,“到2028...
网页链接
精彩评论