[指南] Qwen3.8 Flash-Next 在单个 RTX 5080 + 64GB RAM 上:>250 tok/s tg 和 5700 tok/s 在真实代理编码会话中预填充(Basalt + 新的 Unsloth UD-IQ3_XXS + Lamina 起草器),+与 llama.cpp 的比较
原文:[GUIDE] Qwen3.8 Flash-Next on a single RTX 5080 + 64GB RAM: >250 tok/s tg and 5700 tok/s prefill in real agent coding sessions (Basalt + new Unsloth UD-IQ3_XXS + Lamina drafter),+ how it compares to llama.cpp
TL;DR 玄武岩是引擎,它承担着繁重的任务。相同的模型文件,相同的盒子:在没有草稿的情况下,llama.cpp 的解码速度大约是 3.5 倍,使用它的解码速度大约是 5 倍,提示读取速度加快了大约 7 倍。 Unsloth 的新 UD-IQ3_XXS(动态 v3.1,11 月 4 日上传)与每个人在 16GB 卡上使用的 GSQ-RCO IQ3_S 大小相同,但测量结果更加准确:wikitext 困惑度 3.382 -> 3.247,这基本上关闭了 g
正文没能搬到本站:该站禁止服务器(机房 IP)抓取,返回 site,换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡,下面先把收录到的内容给你。
本站会持续尝试重新抓取;也可以收藏这条,正文抓到后会永久保留。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。