b12285: cuda : fattn mma 头部尺寸 40 72 (#30285)
原文:b12285: cuda : fattn mma head sizes 40 72 (#30285)
cuda:添加对头部尺寸 40 和 72 的 MMA FlashAttention 支持 头部尺寸 40 和 72(例如在 Gemma 3/4 和 Qwen3-VL 的视觉塔中使用)被从每个张量核心调度分支中排除并回落到图块内核。 fp16 MMA 片段在头部方向上覆盖了 16 个一半,因此内核内的几何形状被填充到下一个 16 的倍数(40 -> 48、72 -> 80)。寄存器数组、共享备忘录
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。