KQuant - 新的量化技术，Qwen Flash Next 180B、Qwen 27B、35B、9B 的量化效果提高了 3.7 倍（在 KL 散度减少中测量）(MLX)

原文：KQuant - new quantization technique, 3.7× better quants for Qwen Flash Next 180B, Qwen 27B, 35B, 9B (measured in KL-divergence reduction) (MLX)

大家好，我是 Alish，一位来自 Nace 的机器学习工程师（Drex 背后的人们，这是一个开源决策族模型，在决策指数 2.1 的人工分析中排名第一）。最近，我的首席技术官给了我优化 qwen4 量化的任务，所以我拨通了 UoT 的大学教授的电话，并扩展了我的《神鬼寓言 5.2》，我们一起合作。从 mlx 开始（明天 gguf）。这是 q 的精度/大小量化的帕累托前沿

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。