适用于 12 GB GPU 上的 Qwen 模型的 Rust 推理引擎,其 Qwen3.8-Flash-Next 的运行速度比原始 Strata 更快
原文:Rust inference engine for Qwen models on a 12 GB GPU, and it runs Qwen3.8-Flash-Next faster than the original Strata
我已经为此工作了一段时间:RustingStrata。它是 Qwen GGUF 模型的推理引擎,用纯 Rust 编写,没有 ggml。 CUDA 内核在启动时使用 NVRTC 进行编译,相同的内核也可以在 Vulkan 上运行。现在它运行很多Qwen模型: - Qwen3.5 / 3.6:2B到35B-A3B - Qwen3:4B密集,30B-A3B - Qwen3.8-27B密集 - Qwen3-Next-80B-A3B - Qwen3.8-Flash-Next Quant支持
正文没能搬到本站:该站禁止服务器(机房 IP)抓取,返回 site,换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡,下面先把收录到的内容给你。
本站会持续尝试重新抓取;也可以收藏这条,正文抓到后会永久保留。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。