‹ r/LocalLLaMA

Strata EXL3 AMD - 更新 +15-20% tk/s - 以第三季度的速度运行第四季度 - MiMo v2.6 闪存支持(exp)

原文:Strata EXL3 AMD - UPDATED +15-20% tk/s - run Q4 at Q3 speeds - MiMo v2.6 flash support (exp)

r/LocalLLaMA 未缓存正文

针对 AMD 的 Strata EXL3 前叉的快速更新。我一直在研究 HIP 内核和内存管理,解码性能现在比以前的版本大约高 10-20%,具体取决于数量和工作负载。有些病例改善了近 24%。另一个消息是我成功地用 2 张卡使 MiMo V2.6 Flash 以大约 25-30 tokens/s 的速度运行。 。下面详细介绍一下。首先,为什么是 EXL3?

正文没能搬到本站:该站禁止服务器(机房 IP)抓取,返回 site,换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡,下面先把收录到的内容给你。

打开原文 ↗

本站会持续尝试重新抓取;也可以收藏这条,正文抓到后会永久保留。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类