Strata 本地推理引擎：一张 48GB 4090 带 6 人并发
开源本地推理引擎 Strata 发版很勤：一位用户从 0.1.39 升到 0.1.43，Qwen Flash 解码无损提速 18%。他称在一张 48GB RTX 4090 上跑满 256K 上下文和 6 路并发，单人约 100 tok/s、合计约 180 tok/s，可当团队的本地编码后端。
minlibuilds@minlibuilds原帖
为什么值得留
团队想自建本地编码后端，可参考这里的并发与显存账。
可以从这里开始
照 README 在小模型上测并发，再决定是否上大模型。
阅读时留意
速度与并发是个人部署数据；星数来自转述；近千个未关闭 issue 说明仍在快速迭代，稳定性要自测。
OnBalls 导读整理于 2026.10.22。只读存档的帖文、引用与同事件其他帖子的文字；仓库和基准未打开，数字依据使用者自述。