模型路由的上限:性能预测器很难胜过模型自信度
arXiv 论文从理论和 16 个模型的实验论证:用于路由的性能预测器,只有在候选模型本身不够好或预测器额外容量很大时,才明显胜过「模型自己的答案概率」这个简单基线;并推广到两级级联路由。
Guanhua Zhang原始发布
为什么值得留
想做模型路由省钱的人,先试最简单的自信度阈值,再考虑训练专门预测器。
可以从这里开始
如果你的 API 能返回 logprobs,用它做「低自信就升级到大模型」的级联试一周。
阅读时留意
理论结果依赖能拿到答案概率,很多闭源 API 不提供;摘要截断,未见具体实验数字。
OnBalls 导读整理于 2026.10.24。只读收件箱保存的 arXiv 摘要节选(可能截断);未读论文正文、未看代码和数据。