本地 4090『年产 5.6 万美元 token』：算法与局限
minlibuilds 称一张魔改 RTX 4090 48GB 跑 Qwen3.8-Flash-Next 加 Strata，单路约 120 tok/s；按 24 小时持续生成、实测输入输出比例和 95% 缓存命中率估算，每天处理近 3 亿 token，对标 GPT-6.1 Sol 的 API 价格理论等值约 156 美元/天。另有人称同卡解码超过 205 tok/s。
minlibuilds@minlibuilds原帖
为什么值得留
评估本地推理成本时，要区分生成 token 与带缓存的输入 token。
可以从这里开始
把自己的负载拆成输入、缓存、输出三类，再用各自的 API 价格重算。
阅读时留意
3 亿里多数是命中缓存的输入；纯生成约 1,000 万/天是我们按 120 tok/s 的推算；软件能力未必等同。
OnBalls 导读整理于 2026.10.22。只读收件箱保存的帖文节选及可见引用；未打开链接内容与原文，帖中数字和说法未独立核实。