智谱下一代大模型进展

老实人谈港美股
10-20 23:14

$智谱(02513)$ 下一代模型还没亮相,围绕它的数字已经传了好几轮。原先的说法是“10月底发布GLM-5.5,参数量1.6万亿”,后来又出现了2.5万亿至3.5万亿的版本。数字越来越大,但这些消息还没有得到官方确认。

如果新模型真到了3万亿参数这个量级,当然值得关注。不过,接下来更值得看的是:模型能不能顺利训出来,上线后会不会排队,以及让它干一次活到底要花多少钱。

公开资料已经能提供一些参照。智谱此前公布的GLM-5总参数为7440亿,每个Token实际激活约400亿参数;到了GLM-5.3,官方明确表示,它沿用了GLM-5.2的基座,改进来自后训练。[1][3] 这两个例子说明,理解下一代模型,既要看规模,也要看规模之外的工程投入。

1 先看清楚3万亿指的是什么

市场流传的说法是,智谱下一代基座可能采用调整幅度较大的架构,同时改善训练效率、推理速度和成本。关于补强基础设施团队、与云厂商讨论分成合作的消息,目前也缺少足够的公开资料,暂时只能当作观察线索。

即便参数消息属实,3万亿也不能直接换算成能力,更不能直接换算成每次调用的成本。这里至少要分清总参数和实际激活参数。

以智谱公开的GLM-4.5和GLM-5为例,总参数从3550亿增加到7440亿,约为原来的2.1倍;每个Token的激活参数则从320亿增加到400亿,增长25%。预训练数据也从23万亿Token增加到28.5万亿Token。[1] Token可以简单理解为模型处理文字的计量单位,并不等于一个汉字或一个单词。

这类混合专家模型,可以粗略理解成一家有很多专业小组的公司:遇到一个问题,主要由其中一部分小组处理。公司总人数变多,不代表每个问题都要让所有人一起上场。当然,其他小组也要占地方,小组之间还要沟通,所以激活参数少,也不意味着存储和通信成本可以忽略。

因此,等下一代模型正式公布时,要一起看总参数、激活参数,以及实际运行速度。只知道“3万亿”,还不足以判断它好不好用。

2 训练跑完了也不等于模型练好了

另有消息称,智谱新基座曾遇到训练损失不降的问题,后来可能已解决。这部分属于未经证实的训练进度消息,不能据此认定模型延期,或判断具体故障原因。

不过,超大模型训练确实很容易在各种环节出问题。Meta在Llama 3技术报告里披露,405B模型预训练的一段54天观察期内,发生了466次任务中断,其中419次属于意外中断。但依靠故障处理和恢复机制,团队仍做到了超过90%的有效训练时间。[2]

这组数字讲的是系统运行情况,不能拿来证明智谱出现了同样的问题。它更直观地说明了,大规模训练需要团队不断处理设备、网络和软件故障,还要尽快恢复任务,减少算力空耗。

模型本身有没有学好,是另一层问题。训练损失通常叫Loss,可以把它看成模型在训练题目上的错误程度。它突然升高,需要排查异常数据、数值计算或优化过程;它长时间不降,也可能有多种原因。单凭一条曲线,很难给训练“判死刑”。

即便训练按计划结束,也要继续看模型在新题目上的表现,以及后训练能否把能力提升上去。基础课学完了,遇到真实工作能不能做好,还得另考。

网上关于Kimi K3、DeepSeek V4训练状态的具体传闻,缺少可靠的公开证据,不宜据此比较各家进度。同样,国内厂商是否在推进5万亿参数模型,也需要具体披露来确认。现阶段,把已有的训练经验看明白,比拿未经证实的数字排座次更有用。

3 后训练已经有了可观察的例子

相比下一代基座的传闻,智谱已经发布的GLM-5.3更适合拿来讨论后训练。

智谱官方文档明确写道,GLM-5.3与GLM-5.2使用同一基座,改进全部来自后训练。在其自建的Z.ai Code Bench测试中,Max档位的成绩从23.4%提高到34.5%,增加了11.1个百分点;每项任务的输出量则从约9.6万Token降到7.5万Token,减少约22%。[3] 这些数据来自厂商自身评测,不能当成所有真实编程任务都会获得同样提升的保证。

它至少给出了一个具体例子:不更换基座,也有可能把任务完成效果做得更好,同时少输出一些Token。后训练要做的,就是用任务数据、反馈和训练环境,继续改善模型解决问题的方式。

这也让“一个基座持续打磨”的思路更容易理解。开发者日常关心的是,模型能否读懂项目、把修改做对、跑完测试。只要这些体验持续改善,同一基座就有继续使用的价值。

至于消息中提到的RSI和Loop,目前还不适合给出确定结论。RSI通常指递归式自我改进,可能涉及让模型生成数据、分析错误或辅助研究;Loop则可能指不同的循环计算或迭代推理设计。没有清楚的技术定义、对照实验和效果数据,很难判断它们在智谱新模型中到底起了多大作用。

这些方向可以继续关注,但“已经成熟”“即将上线”等说法,仍需要公开材料支撑。

4 外部训练数据越来越难拿

相比训练进度的传闻,外部数据获取方式的变化,有更直接的公开资料可查。蒸馏可以简单理解为:用一个能力较强模型的输出,来训练另一个模型。它本身是常见的训练方法,能否使用某项服务的数据,还要看授权和服务条款。

2026年10月12日,Anthropic公开介绍了加强反蒸馏防护的做法,包括限制对详细推理内容的获取、识别和处置异常账户等。该公司称,早期证据显示,这些措施让蒸馏方获取的数据量减少了约90%至99%。[4] 这是Anthropic自身披露的效果,不能直接推算成整个行业的数据供给变化。

但对于依赖外部模型生成训练数据的团队,这类限制会增加不确定性。今天能拿到的数据,明天未必还能按同样方式获得;数据的完整程度和质量也可能变化。

因此,智谱能否积累自己的任务环境、验证工具和高质量数据,值得持续观察。GLM-5.3的公开文档已经介绍了生成和验证任务环境的工作。[3] 这比笼统地说“数据问题已经解决”,更能帮助读者判断它做到了哪一步。

至于市场上关于API报错、上下文被干预的具体说法,不能仅凭反蒸馏政策就认定属实,也不宜把不同厂商的做法混在一起讲。

5 模型上线以后还得算账

对用户来说,模型在榜单上拿了高分,但一到需要它的时候就排队,体验很难说得上好。对厂商来说,调用越多、支出越大,却未必能赚回来,也难以长期维持。

先看训练投入有多重。DeepSeek-V3技术报告披露,其正式训练使用了278.8万H800 GPU小时。按每GPU小时2美元的假设租赁价格计算,对应约557.6万美元。[5] 这不是公司的全部研发投入,报告明确排除了此前的研究和消融实验成本,也不能把它当成智谱新模型的预算。

训练之外,上线后的每次调用还会持续消耗资源。模型要做复杂任务时,可能需要多次推理、调用工具、检查结果和重新尝试。回答得更长、思考得更久,都会影响用户等待时间和服务成本。

前面GLM-5.3的例子就很有参考价值:在厂商同一套测试的Max档位下,每项任务少输出约2.1万Token,同时成绩提高。[3] 这说明效率改善有时能和能力提升一起发生。不过,输出Token减少约22%,不等于总成本就一定下降22%;还要看输入、缓存、模型运行效率和实际计费方式。

因此,在设计架构时就考虑推理成本,确实有实际价值。至于智谱下一代模型是否做到了、能节省多少,仍要等正式披露和实际使用结果。云厂商合作能否提供足够算力,也需要看合作有没有落地。

6 接下来值得等的是什么

围绕智谱下一代模型,参数、训练进度和发布时间目前仍有不少空白。传闻可以提供线索,但具体性能要靠测试,服务能力要靠上线后的表现。

新模型发布后,最值得跟进的是它能否稳定完成复杂任务,以及达到这些效果要付出多少时间和费用。参数规模可以帮助理解技术路线,独立评测和真实项目中的表现,才更接近用户每天会遇到的问题。

3万亿参数很容易成为标题。对实际使用的人来说,更有吸引力的可能是一件小事:把任务交给模型之后,它能顺利做完,等待时间可以接受,账单也不至于让人犹豫。

数据来源

[1] 智谱官方GLM-5模型卡。提供GLM-4.5与GLM-5的总参数、激活参数和预训练Token数据。

[2] Meta《The Llama 3 Herd of Models》,2024年,系统可靠性部分及表5。提供54天观察期内的中断次数和有效训练时间。

[3] 智谱官方GLM-5.3开发文档。提供同基座后训练说明、Z.ai Code Bench结果和输出Token数据;相关成绩属于厂商披露。

[4] Anthropic《Strengthening our defenses against distillation attacks》,2026年10月12日。提供反蒸馏措施及其自述效果。

[5] DeepSeek《DeepSeek-V3 Technical Report》,2025年2月修订版,表1及成本说明。提供正式训练GPU小时、成本测算假设和统计范围。

 

免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。

精彩评论

我们需要你的真知灼见来填补这片空白
发表看法