105 个埋入 bug 的实测:GPT-6.1 Sol 得分接近但费用只有零头
Paweł Huryn 在两个仓库中埋入 105 个 bug 让模型查找并修复:GPT-6 Astra(max)45 分花 33 美元,GPT-6.1 Sol(max)44 分花 6.56 美元,GPT-5.6 Sol 43.5 分花 95.35 美元,Opus 5.5 41.7 分花 58.53 美元,GPT-6 Sol 29.3 分花 9.33 美元;他注明 n=1。
Paweł Huryn@pawelhuryn原帖
为什么值得留
看性价比而非单一分数:同等分数下花费可差一个数量级。
可以从这里开始
按他的方法在你的仓库里埋少量 bug 做小测试。
阅读时留意
单次运行(n=1),作者自选的两个仓库;评分规则未在节选中;对套餐的评论是作者观点。
OnBalls 导读整理于 2026.10.22。只读存档的帖文全文及可见引用;未打开链接内容,帖中数字和说法未独立核实。