ZIP-SR 与 ZE-EDEN:重新设计 AdamW 四位状态量化
这篇 AdamW 量化研究指出,状态本身平均误差较小,不一定表示下一步预条件更新的误差也小;因此从舍入空间重新设计四位状态量化。摘要比较了两种方法,并把预训练与全参数微调分开报告,适合研究压缩的优化代价。
研究作者 · arXiv原始发布
为什么值得留
检查量化论文是否同时报告存储收益和训练行为变化。
可以从这里开始
比较一项压缩方案的显存、损失曲线和后续任务表现。
阅读时留意
仅读预印本摘要,未复现训练;改进幅度只属于列明实验。
OnBalls 导读整理于 2026.10.15。已读论文第一版摘要;未审全文、代码、数据、图表或复现实验。