Qwen3 4B / 8B / 14B，每权重约 2.7 位，采用 Leech 晶格量化。在相同大小的质量上击败 IQ2_S，在速度上失败 [开源，Rust + CUDA]

原文：Qwen3 4B / 8B / 14B at ~2.7 bits per weight with Leech lattice quantization. Beats IQ2_S on quality at the same size, loses on speed [open source, Rust + CUDA]

https://preview.redd.it/dfiyzcvakn1i1.png?width=2356&format=png&auto=webp&s=41301d5648563b26353cba70079fb6afcd9bf329 hi r/LocalLLaMA，我已经在 LLVQ 的独立 Rust 实现上工作了一段时间，这是来自 Leech 晶格量化论文Qualcomm ( arXiv:2603.11021 )，使用我自己的 CUDA 内核来实际运行结果。三个Qwen3模型已经完成（4B、8B、14B），都是2.7位左右

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。