Qwen3.5-9B 在 PS4 的 GPU 上离线运行，使用自己的 MTP 头进行推测解码

原文：Qwen3.5-9B running on a PS4’s GPU, offline, using its own MTP head for speculative decoding

我做了这个，所以快速说明一下：这是我的开源项目。 Qwen3.5-9B 在普通 PS4 上以 31–39 tok/s 的速度运行。 Qwen3.5 附带的 MTP 头产生了最大的区别：它最多起草两个令牌，完整的模型一次检查它们，这将旧 GPU 上的速度从 22 tok/s 提高到了 31-39 tok/s。权重被重新打包为自定义 4 位和 3 位格式，以适应大约 4.5 GiB。您的旧 PS4 现在可以运行

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。