一台 RTX 3090 上的 DeepSeek-V4.1-Flash-1017:Delta 推理引擎 v0.93 的重大更新。 192GB/IQ2 下的相同 41 tok/s,质量更好,可从 64 GB RAM 使用,第一个令牌提早约 40%,新的 Unsloth Quant 全速、EXL3、基本多 GPU、公共 CI 等
原文:DeepSeek-V4.1-Flash-1017 on one RTX 3090: Big updates to the Delta Inference Engine v0.93. Same 41 tok/s at 192GB/IQ2 at better quality, usable from 64 GB RAM, first token ~40% sooner, new Unsloth quants at full speed, EXL3, basic multi-GPU, public CI and more
Delta 推理引擎的重大更新,你们要求更多的功能、更多的基准测试和更少的点击诱饵。我在这里提供简短的版本:我已经添加了几乎所有要求的内容以及更多内容。 Delta 推理引擎现在支持 64/96/128 GB RAM,并完全支持新的 Unsloth Quant。 Unsloth IQ2 使用新的印迹表本机读取器以相同的 41 tok/s (192 GB RAM) 运行
正文没能搬到本站:该站禁止服务器(机房 IP)抓取,返回 site,换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡,下面先把收录到的内容给你。
本站会持续尝试重新抓取;也可以收藏这条,正文抓到后会永久保留。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。