位或排列？在小型本地语言模型中将固定的推理预算用于权重精度或选项顺序平均

原文：Bits or permutations? Spending a fixed inference budget on weight precision or on option-order averaging in small local language models

本地语言模型可以通过以更少的位存储权重来节省内存，并且可以通过对一些重新排序进行平均来降低对答案选项顺序的敏感度。我们询问第一个是否会使第二个变得更糟，以及哪种方式是花费固定预算的更便宜的方式。在具有模拟舍入到最近权重量化（8、6、4 和 3 位，fp16 参考）的 Qwen3-0.6B 和 Qwen3-1.7B 上，从 t 读取

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。