b12126: qwen2 : 将 nvfp4 比例添加到 build_ffn (#31657)
原文:b12126: qwen2 : add nvfp4 scales to build_ffn (#31657)
此提交将 nvfp4 缩放添加到 qwen2 的 build_ffn 调用中,该调用当前作为 NULL 传递。这样做的动机是,转换为 NVFP4 的模型当前会崩溃,因为比例已加载但从未在 FFN 中应用: llama-completion: llama.cpp/src/llama-sampler.cpp:1218: void llama_sampler_dist_apply(llama_sampler*, llama_token_data_array*): 断言“found”失败。关注度
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。