当AI账单失控,模型路由器成为企业降本新宠

华尔街见闻18:16

随着企业AI使用成本持续攀升,一类名为"模型路由器"的技术正迅速从边缘工具走向主流。这类系统能够根据任务复杂程度自动调配最合适的AI模型,在不显著牺牲质量的前提下大幅压缩开支,正在吸引从初创公司到大型企业的广泛关注。

模型路由器的核心逻辑在于:并非所有任务都需要最昂贵的前沿模型。总结邮件、检索文档等基础工作完全可以交由开源模型或旧版专有模型处理,成本仅为顶级模型的一小部分。SnowflakePalo Alto Networks等企业已向The Information证实,通过为特定任务替换更廉价的模型,实现了可观的成本节约。

这一趋势正在催生真实的商业回报。建筑公司McCarthy Building表示,通过Palantir的路由工具Evolve,其当季AI token使用量较去年同期减少了60%。Palantir自身也披露,在一个具体案例中,该工具通过将任务从OpenAI的GPT-5.1切换至更小的GPT-5.4 Nano模型,将计算成本压缩了97%。

从手动选模型到自动路由:一个行业转折点

模型路由器的概念并非全新,但真正走入大众视野,是在OpenAI发布GPT-5之后。该模型在ChatGPT内部根据用户提示的复杂程度自动在不同模型之间切换,将路由逻辑内嵌于产品之中。此后,能够跨多家供应商进行模型调度的路由器开始快速普及。

目前市场上的路由器形态多样:既有独立产品,也有云计算服务商内置的功能模块,还有企业IT部门自行搭建的定制化方案。这些工具的共同目标是替代用户手动选择模型的操作,从而在降低成本的同时维持输出质量。

Databricks推出的Unity AI Gateway便是其中一例。该公司CEO Ali Ghodsi表示,这款工具"非常受欢迎",原因在于许多企业"正在以过快的速度耗尽预算"。Databricks在向客户推出该产品之前,已在内部使用了一段时间。

从初创公司到科技巨头全面入局

路由器赛道正在吸引不同规模的参与者。据The Information此前报道,今年4月,提供路由技术的初创公司OpenRouter完成了1.2亿美元新一轮融资,资本市场对这一方向的热情可见一斑。

OpenRouter的"自动路由器"根据用户对成本与质量的偏好(在0至10的刻度上自行设定)来决定调用哪个模型。数据显示,该路由器约三分之一的时间会选择谷歌相对廉价的Gemini 2.5 Flash Lite,而调用OpenAI更强大的GPT-5.5的比例仅约10%。OpenRouter的自动路由器底层由初创公司Not Diamond提供支持,后者专注于为AI编程智能体开发路由系统。

日本AI实验室Sakana AI近期发布了一套基于路由器的多模型协同系统。该系统在测试中将数学问题主要分配给OpenAI的GPT-5.5,将科学问题分配给谷歌的Gemini,理由是系统判断这两个模型在各自领域优于其他选项。Sakana AI称,该系统整体表现在编程、工程、科学任务和推理等基准测试上与Anthropic的Fable 5和Mythos Preview模型"并驾齐驱"。

AI编程应用Cognition本周也发布了新路由器,利用其内部基准测试识别不同智能体的相对优势,并引入一个"sidekick"智能体处理较简单的任务。Cognition表示,该路由器在某编程基准测试上达到了Fable 5的得分水平,成本却低了35%。

DIY路由,低成本方案同样奏效

并非所有企业都需要购买专业路由产品。开发者可以使用Claude Code等AI编程智能体自行搭建路由器,甚至直接让一个AI模型来决定哪个模型最适合处理某个特定查询。

Arcee AI负责AI智能体工作的Hunter Bown表示,他习惯使用DeepSeek V4 Flash来进行模型选择,原因是其成本低廉。他的做法是向DeepSeek提供一份模型列表,让其判断哪个模型最适合处理当前提示。

不过,这类"快速搭建"方案也有其局限性。路由器提供商Martian的创始人Shriyash Upadhyay指出,更复杂的路由器有时会展示出亮眼的基准测试成绩,但实际表现未必与之相符。他还提到,即便是更精密的路由器,仅凭用户的第一条提示来预测最佳模型也颇具难度。

Upadhyay表示,模型迭代速度快、能力差异持续变化,使得路由决策愈发复杂。"各家公司没有关于所有不同任务的无限数据,因此你必须真正深入模型内部,弄清楚这些模型擅长什么。"为此,Martian在做路由决策时,不仅参考模型的输出结果,还会考量构成这些模型的内部计算过程。

成本压力持续,路由器需求料将扩大

企业对AI成本的焦虑并非短期现象。随着员工对高级AI模型的使用量(即"tokenmaxxing"现象)持续增加,管理层对AI支出的审视也在加强。这一背景为模型路由器提供了持续的需求驱动力。

Palantir的Evolve工具在路由功能之外,还能根据所选模型自动调整提示内容,并防止请求被重复发送给模型——后者是导致超额收费的常见原因之一。McCarthy Building的案例表明,通过优化提示结构,企业可以在使用前沿模型时消耗更少的token,同时获得相同的输出结果。

对于投资者而言,模型路由器赛道的升温意味着:一方面,OpenRouter等专注路由技术的初创公司正在获得资本青睐;另一方面,Databricks、Palantir等将路由功能整合进企业AI平台的公司,也在以此强化其产品竞争力。随着AI基础设施支出持续扩张,帮助企业控制这一支出的工具层,正在成为不可忽视的新兴市场。

免责声明:本文观点仅代表作者个人观点,不构成本平台的投资建议,本平台不对文章信息准确性、完整性和及时性做出任何保证,亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白
发表看法