单张 4090 跑 748B 的 DeepSeek：20 tok/s 是怎么来的
一位开发者称，用 Baekpica 的矢量量化 GGUF 版本，在单张 RTX 4090 上跑起 748B 的 DeepSeek V4.1 Flash 1017，速度冲到 20+ token/秒。该版本权重约 318GB，原本是为 DGX Spark 这类大统一内存机器准备的。
servasyy_ai@servasyy_ai原帖
为什么值得留
本地跑超大 MoE，要算的是权重放哪、读多快，而不只是显卡算力。
可以从这里开始
先看作者放出的配置清单，再核对自己的内存和硬盘是否放得下 318GB。
阅读时留意
20+ tok/s 来自个人实测，内存、硬盘与上下文长度等配置节选没写；量化版精度没有评测。
OnBalls 导读整理于 2026.10.22。只读存档的帖文及同事件其他帖子的文字；作者的配置与测试脚本未看，速度为自述。