HarmBench 测量审查:安全总分混合了哪些行为
这篇研究用心理测量方法审视 HELM Safety 与 HarmBench,讨论数据饱和、多维属性和不同开发者之间的题项差异。它要求先证明分数确实能测量所说的单一属性,再比较模型,适合作为阅读安全榜单的检查框架。
研究作者 · arXiv原始发布
为什么值得留
先问分数测什么,再看总体名次和平均值。
可以从这里开始
从一张榜单选两项子测试,检查它们是否测同一种行为。
阅读时留意
仅读摘要,未审具体题目;不能据此否定所有安全评测。
OnBalls 导读整理于 2026.10.15。已读论文第一版摘要;未审全文、代码、数据、图表或复现实验。