METR 提醒：后续数据很难倒推当时的真实生产率

中文讨论里经常出现“AI 让编程快了百分之多少”。遇到这种句子，先看测量设计，再看产品营销。

2026-09-07 打开 METR 2026-02-24 的实验设计更新。作者讨论选择偏差和工时测量限制，认为后续数据难以可靠估计当时的真实生产率效果。

本轮只使用这一条有限结论。它不能当 2026 年 9 月所有 AI 工具的总体效率、失败率或你个人工作流的预期收益。

读百分比时至少问四句

1. 测的是哪些任务，谁被排除了？
2. 时间如何计算：日历时间、按键时间，还是自评？
3. 后续模型或后续受试者能否倒推当时效果？
4. 你的任务、工具版本和地区条件是否落在原实验范围内？

如果这四句答不上来，就把该数字标成“发布方或研究方陈述”，不要写进行动建议。

TODO：若要评论某一款 coding 工具的提效，必须用自己的任务样本计时，而不是转述该文数字。