研究论文观点观察

模型路由的上限:性能预测器很难胜过模型自信度

arXiv 论文从理论和 16 个模型的实验论证:用于路由的性能预测器,只有在候选模型本身不够好或预测器额外容量很大时,才明显胜过「模型自己的答案概率」这个简单基线;并推广到两级级联路由。

Guanhua Zhang原始发布
01

为什么值得留

想做模型路由省钱的人,先试最简单的自信度阈值,再考虑训练专门预测器。

02

可以从这里开始

如果你的 API 能返回 logprobs,用它做「低自信就升级到大模型」的级联试一周。

03

阅读时留意

理论结果依赖能拿到答案概率,很多闭源 API 不提供;摘要截断,未见具体实验数字。

OnBalls 导读整理于 2026.10.24。只读收件箱保存的 arXiv 摘要节选(可能截断);未读论文正文、未看代码和数据。

同一方向,继续读

这个方向的精选