同一模型换 harness:整仓迁移成功率从 6.5% 到 31.0%
Elvis 引用一篇论文说:整仓库迁移任务上,GPT-5.6 Sol 在把 Codex 换成 HERMES harness 后,成功率从 6.5% 升到 31.0%,模型相同;他的结论是『自己做 harness』,harness 工程被低估。
Elvis Saravia@omarsar0原帖
为什么值得留
评估 agent 时,不要只看模型,也要看外面那层。
可以从这里开始
找论文,看两种 harness 的差别和评分标准。
阅读时留意
数字来自作者引用的论文,未读原文;一个基准上的结果;harness 是否公平对比未知。
OnBalls 导读整理于 2026.10.22。只读存档的帖文全文及可见引用;未打开链接内容,帖中数字和说法未独立核实。