Apple Silicon 上哪些推理加速有效：投机解码反而变慢
arXiv 论文在四台 Apple 机器上测四类推理优化：KV 缓存裁剪最多带来 1.75 倍吞吐（在桌面 NVIDIA 卡上反而可能降速）；所测投机解码方法在 Apple 上全部降低吞吐；CUDA 内核思路只部分可迁移；量化收益因机器而异。
Kyrylo Yemets原始发布
为什么值得留
在 Mac 上本地跑模型的人，别照搬服务器上的加速经验，要在自己机器上实测。
可以从这里开始
在你的 Mac 上用同一模型对比开、关投机解码各跑一次，记下每秒 token 数。
阅读时留意
单请求解码负载；未列具体模型、运行时版本和芯片型号，结论可能随框架更新变化。
OnBalls 导读整理于 2026.10.24。只读收件箱保存的 arXiv 摘要节选（可能截断）；未读论文正文、未看代码和数据。