KV Cache：一篇适合顺着原理读的解释
Avi Chawla 从逐个生成 token 讲起，再解释 attention、缓存和计算与内存之间的取舍，适合作为推理机制的入门阅读。
Avi Chawla@_avichawla原帖
为什么值得留
把“首字等待”和“后续输出”拆开思考，更容易提出具体的性能问题。
可以从这里开始
画出一次请求的输入处理和后续生成两个阶段。
阅读时留意
已读本地长文的缓存机制与取舍部分；未复算文中模型显存示例，也未做性能测试。
OnBalls 导读整理于 2026.10.04。依据已保存的原帖文字；未重新访问原帖或复核媒体。