两台 DGX Spark 跑 DeepSeek Flash:75 与 130 tok/s
有人在两台 DGX Spark 上用 EXL3 约 2.9bpw 的量化跑 DeepSeek V4.1 Flash 1017:单路约 75 tok/s、4 路并发约 130 tok/s。使用者对比自己的 GLM-5.3-Flash(62.2 与 104.6),指出前者权重约 210GB,另有约 94.4GiB 的 Engram 表要放在每台 NVMe 上。
wei_wang@wei_wang原帖
为什么值得留
本地部署要同时看速度、权重体积和存储占用,而不只是 tok/s。
可以从这里开始
对照两台 256GB 内存的配置,算清权重、Engram 表和 KV 缓存各占多少,再决定能否照做。
阅读时留意
数字来自个人部署和对方的配方描述;上下文长度、量化精度损失和预填充速度节选只给了部分。
OnBalls 导读整理于 2026.10.22。只读存档的帖文及引用;配方仓库未打开。