ONBALLS / TOPIC DOSSIER

模型与推理

理解模型能力与限制,把新版本放回自己的真实任务。

01

在什么任务上值得尝试?

02

评测与实际工作有什么差别?

03

旧判断的哪些条件已经改变?

从原始来源继续读

X 收藏与一手资料,保留原始日期和阅读范围。

105 条精选
评估与原理近期动态

Cloudflare Clairic:只返回字段的『抽取模型』

Cloudflare 发布 Clairic,称是一个『System One』抽取模型:它只读取输入,按事先定义好的字段输出结构化结果,不写自然语言回答。例如给一张发票,要求提取金额、付款日期和商品列表。转述称它基于回归而非分类,可估计连续值。

X 帖子
评估与原理近期动态

HealthBench 榜单上线:分数与单任务成本一起看

Artificial Analysis 上线 HealthBench 与 HealthBench Professional 两个榜单(基准来自 OpenAI,评估模型对真实健康对话的回复)。其称 OpenAI 模型占满后者的分数与成本前沿:GPT-6 Luna 满档 61.9%、每任务 0.004 美元,比 GPT-6 Astra 低 4 分,成本不到 2%。

X 帖子
评估与原理案例记录

28 元跑完 10 多个案例:DeepSeek V4.1 Flash 1017 的实测

中文用户用 10 多个案例测试 DeepSeek V4.1 Flash 1017(发布会 PPT、动效片、解谜关、KV cache 解说动画、3D 场景等),花了约 5 亿 token、28 元;结论是除订阅的 Claude Code 和 Codex 外,它可能是目前价格最低、效果最好的选择,审美和长程任务仍与 Opus 5.5 有差距,并整理了提示词、技能和每个案例的花费。

X 帖子
评估与原理观点观察

后训练胜过算力:GLM 5.3 的跃升从哪来

SemiAnalysis 引述一位业内人士:GLM 5.3 的最大跃升完全来自对上一代模型的后训练,后训练比从零预训练更省 GPU,很多公司负担不起预训练。中文转述据此认为后训练被低估,Cursor、Devin 等编码公司似乎也在走这条路。

X 帖子
评估与原理观点观察

长任务里准确率的小优势会被放大

Ethan Mollick 引用一篇论文说:模型准确度与判断力的小幅提升,在长程任务中会不断累积,造成结果上的巨大差距,因此他怀疑前沿模型可以轻易被便宜模型替代,并建议用最好的模型做编排者。

X 帖子
评估与原理近期动态

Muse Spark Open:规格、价格与两台 Mac 的账

Meta 发布 Muse Spark Open 权重:8160 亿总参数、420 亿激活、100 万上下文,原生多模态,主打编码与 agent。OpenRouter 上价格为输入 1.25、输出 4.25 美元每百万 token;Meta 称在新款 Mac Studio 上运行良好,『两台 512GB』是转述。

X 帖子
评估与原理近期动态

Fable 5.5 的配置泄露:哪些能当真

10 月 13 日起,有人称 LiteLLM 机器人在 Azure 配置库里抓到 Claude Fable 5.5 的模型 ID。转述的配置是 100 万上下文、思考常开、输入每百万 token 10 美元、输出 50 美元。官方未公布,当时无法调用,10 月 20 日仍有人在等。

X 帖子
评估与原理近期动态

VulcanBench:Muse Wonder 的成绩与低推理档的异常

Meta 的 Alexandr Wang 称 Muse Wonder 全量版在新的编码评测 VulcanBench 的 VCB 1—100 上居首,整体与 Astra、Opus 5.5、Sol 6.1 竞争力相当(后半句被截断)。另一位分析者公开了对基准运行轨迹的分析,发现 Muse Wonder 在低推理档耗时远长于 GPT-6.1 Sol。

X 帖子
评估与原理近期动态

Gemini 4 Argon 上线:各入口的价格口径

Gemini 4 Argon(100 万上下文)发布当天,Command Code、Devin、Cursor、Cloudflare AI Gateway 陆续接入。价格口径并不一致:网友转述的限时价是输入 2、输出 10 美元每百万 token,Cloudflare 官方帖称 50% 折扣到 12 月 1 日。

X 帖子
评估与原理方法阅读

“插件”这个词可能指四种不同能力

作者把几种 Agent 扩展方式按分发、行为干预、代码编排和架构组装来区分。这个比较适合作为提问清单:能装什么、能改变哪些动作、执行在哪里发生、能否替换底层组件;产品名称相似,不表示扩展权限相同。

X 收藏
评估与原理观点观察

通过测试,为什么仍可能没有完成需求

这条评论讨论代码可维护性、任务意图和可见结果之间的落差,并举出把二维图像伪装成三维场景的争议例子。读它最有用的角度是补全验收:除了结果截图,也检查实现约束、测试修改和后续维护是否符合原要求。

X 收藏
评估与原理方法阅读

让模型用更容易理解的形式解释

Karpathy 分享了把解释从文字改成图示、HTML 页面和讲解视频的个人尝试,也提到用受控语言约束写作。值得借用的是按理解任务选择输出形式:概念关系可画图,过程变化可交互,复杂演变可分步展示。

X 收藏
评估与原理方法阅读

把“继续做完”写成明确的任务约定

这份中文提示整理讨论长任务汇报、完成条件、按需读取资料和具体风格约束。它提醒读者,进度说明不等于交付物已经合格,模糊的“别像 AI”也不如列出要避免的具体表现;可借此检查自己的任务说明是否可执行。

X 收藏
评估与原理案例记录

从趣味生成转向能检查的模型任务

Karpathy 描述了让模型把文学场景写成程序化三维世界的试验,同时指出模型难以顺畅观看视频和游玩来检查自身结果。这个例子适合讨论生成能力与自检能力之间的差距,以及为什么最终画面仍需要人工验收。

X 收藏
评估与原理方法阅读

先口述,再请模型整理任务背景

Karpathy 介绍了长段语音口述和几轮采访式对话的用法:先把零散想法说出来,再让模型重组并复述。这里可借用的不是固定时长,而是把隐含目标、顾虑和背景交代清楚,再检查模型是否理解成了另一件事。

X 收藏
评估与原理近期动态

Gemini 3.5 Live Translate:70 多种语言边听边译

中文账号转述 Google 的实时翻译模型 Gemini 3.5 Live Translate:支持 70 多种语言边听边译、保留语气和音高、只比说话人慢几秒、可滤除噪音,Google 翻译 App 新增听筒模式,开发者可通过 Gemini Live API 和 AI Studio 调用,并能自动检测语言。

X 帖子

沿着问题继续读

保留资料日期,区分原件、实践与判断。

相关工具与入口

查看全部
FROM THE TIMELINE

在 X 看见,
在这里继续。

短帖里说清结论,网站里保留步骤、来源与后续更新。

查看 X 摘读