b12287

原文：b12287

cuda ：对小批量大小的几行 BF16 矩阵使用 MMVF (#31959) MMF 每个块平铺 32 行，因此具有少量行的 BF16 矩阵（例如 qwen4exp 超连接投影，K = 10240 的 320 行）仅运行少数块，并使大多数 SM 在批量大小 2..8 时空闲。 MMVF 每行运行一个块，并在 K 足够长时获胜。 MMVF 的成本随着行数 x 批次的增加而增加，而 MMF 的成本则随着行数 x 批次的增加而增加

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。