X 帖子案例记录

12GB 显卡本地跑 DeepSeek V4.1 Flash:一位用户的报告

一位安全研究者称,用 GSQ-RCO 量化加 Strata 推理引擎,可以在 12GB 显卡上跑 DeepSeek V4.1 Flash,其余权重卸载到内存;RTX 5070 加 64GB 内存约每秒 105~117 token,内存越多解码越快。

0x0SojalSec@0x0sojalsec原帖
01

为什么值得留

想在家用电脑跑大模型的人,可以参考这套量化加卸载的组合。

02

可以从这里开始

打开帖内链接看 Strata 的仓库和许可证,对照你的显存和内存判断能否复现。

03

阅读时留意

个人报告、未复现;量化后的质量损失、上下文长度和测试提示都没有说明。

OnBalls 导读整理于 2026.10.27。只读收件箱保存的帖子节选(约 300 字以内,可能截断);未打开帖内链接与官方页面。

同一方向,继续读

这个方向的精选