b12227:测试:保持虚拟 ffn.act 比例远离零(#31940)
原文:b12227: tests : keep dummy ffn.act scales away from zero (#31940)
虚拟模型生成器填充普通法线池中的每个张量。 blk.N.ffn.act.scales 是 mpt 图中的除数,因此使用种子 1224489258 绘制 |v| ~ 1e-6,并且 ffn_act = gelu(...) / 尺度达到 2.7e5。 Metal 将 kernel_mul_mm_f32_f32 的两个操作数都阶段为一半,因此这些激活溢出到 inf,下游范数将 inf 转换为 nan,logits 输出为 nan,而 CPU
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。