按需精度：在小型局部模型中以不确定的解码步骤逐步增加权重位

原文：Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model

本地解码通常为整个一代固定一个权重精度。我们研究了一种不同的分配：存储 8 位权重，用前 4 位进行解码，仅当低精度输出分布看起来不确定时（熵高于阈值或前两位边缘很小），才以 8 位重做一步。量化仿真，型号为Qwen3-0.6B，基准为GSM8K。成本已计算

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。