b12342：标题：CUDA：BS 2-24 的几行 MMQ (#31533)
原文：b12342: Title: CUDA: few-row MMQ for BS 2-24 (#31533)
CUDA：2-24 src1 列的少行 MMQ 新的 int8 MMA 内核，用于具有 2-24 src1 列的量化 mat-muls，例如推测解码验证通过。从 Ampere 开始，支持 NVIDIA GPU 上的 Q8_0、Q3_K、Q4_K、Q5_K、Q6_K、IQ3_S、IQ4_NL 和 IQ4_XS。 nit 修复了少行 MMQ 的仅 CUDA 防护，test_mul_mat 中的权重标志少行量化：来自量化值的 DS4 总和，如 #31247 少行 MMQ：清除
正在把原文抓到本机服务器…首次约 3~8 秒，抓好后本站永久缓存，下次秒开。
抓不到时可直接看原文（部分站点需要登录/反爬，服务器也无法抓取）。
正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。