X 帖子案例记录

105 个埋入 bug 的实测:GPT-6.1 Sol 得分接近但费用只有零头

Paweł Huryn 在两个仓库中埋入 105 个 bug 让模型查找并修复:GPT-6 Astra(max)45 分花 33 美元,GPT-6.1 Sol(max)44 分花 6.56 美元,GPT-5.6 Sol 43.5 分花 95.35 美元,Opus 5.5 41.7 分花 58.53 美元,GPT-6 Sol 29.3 分花 9.33 美元;他注明 n=1。

Paweł Huryn@pawelhuryn原帖
01

为什么值得留

看性价比而非单一分数:同等分数下花费可差一个数量级。

02

可以从这里开始

按他的方法在你的仓库里埋少量 bug 做小测试。

03

阅读时留意

单次运行(n=1),作者自选的两个仓库;评分规则未在节选中;对套餐的评论是作者观点。

OnBalls 导读整理于 2026.10.22。只读存档的帖文全文及可见引用;未打开链接内容,帖中数字和说法未独立核实。

同一方向,继续读

这个方向的精选