12GB 显卡本地跑 DeepSeek V4.1 Flash:一位用户的报告
一位安全研究者称,用 GSQ-RCO 量化加 Strata 推理引擎,可以在 12GB 显卡上跑 DeepSeek V4.1 Flash,其余权重卸载到内存;RTX 5070 加 64GB 内存约每秒 105~117 token,内存越多解码越快。
0x0SojalSec@0x0sojalsec原帖
为什么值得留
想在家用电脑跑大模型的人,可以参考这套量化加卸载的组合。
可以从这里开始
打开帖内链接看 Strata 的仓库和许可证,对照你的显存和内存判断能否复现。
阅读时留意
个人报告、未复现;量化后的质量损失、上下文长度和测试提示都没有说明。
OnBalls 导读整理于 2026.10.27。只读收件箱保存的帖子节选(约 300 字以内,可能截断);未打开帖内链接与官方页面。