METR 时间跨度重估:相同倍数未必代表相同难度
这篇研究摘要重新估计 METR 的时间跨度指标,放松人类耗时与模型难度之间的线性假设,并用样条和项目反应理论比较估计。作者指出不同区间里相同的倍数增长可能对应不同难度,建议连同诊断图理解时间跨度。
研究作者 · arXiv原始发布
为什么值得留
阅读能力增长曲线时检查估计方法与任务难度分布。
可以从这里开始
找到一张能力曲线,问清任务组成、成功概率和置信范围。
阅读时留意
仅核本地研究摘要及原页摘要,未审全文、数据或统计代码。
OnBalls 导读整理于 2026.10.15。已读论文第一版摘要;未审全文、代码、数据、图表或复现实验。