[研究] 具有扩散 LLM 的单个 RTX 5090 上 2,788 个代币/秒 — 引入 ORL（完全开源）

原文：[Research] 2,788 tokens/s on a single RTX 5090 with a diffusion LLM — Introducing ORL (fully open source)

嘿 r/LocalLLaMA！我们很高兴与大家分享 ORL（策略残差学习），这是我们在不牺牲生成质量的情况下显着加快扩散语言模型 (dLLM) 的新研究。借助 ORL 和我们的自定义推理引擎 dlmrt，我们实现了： 单个 RTX 5090 上 2,788 个令牌/秒 — LLaDA-2.1-mini + ORL、NVFP4 8× B200 上 7,708 个令牌/秒 — DiffusionGemma 26B MoE + ORL、NVFP4 高达

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。