在“灵晟”国产超算登顶最新一期全球超级计算机TOP500榜单后,清程极智与“灵晟”联合完成纯CPU MoE模型分布式推理方案:16节点即可流畅运行DeepSeek-V3/R1-671B模型,在batch_size=2048时,输出吞吐量与80张主流GPU集群相当。这不仅是一次HPC与AI融合的技术突破,也提供了一个观察国产算力如何从基础设施转化为Token生产能力的新样本:当算力、模型与推理软件被...
网页链接在“灵晟”国产超算登顶最新一期全球超级计算机TOP500榜单后,清程极智与“灵晟”联合完成纯CPU MoE模型分布式推理方案:16节点即可流畅运行DeepSeek-V3/R1-671B模型,在batch_size=2048时,输出吞吐量与80张主流GPU集群相当。这不仅是一次HPC与AI融合的技术突破,也提供了一个观察国产算力如何从基础设施转化为Token生产能力的新样本:当算力、模型与推理软件被...
网页链接
精彩评论