moe-cache :LRFU/类 MQ 混合缓存,ClassLRU by sanmai · Pull Request #31233 · ggml-org/llama.cpp
原文:moe-cache : LRFU/MQ-like hybrid cache, ClassLRU by sanmai · Pull Request #31233 · ggml-org/llama.cpp
将 SLRU 替换为缓存,该缓存优先考虑班级中经常使用的专家,并使用衰减的使用历史记录进行排名。使用热缓存时,与 SLRU 相比,我测得 QFN 上的解码增加了 6%,GLM 的解码增加了 7%,上传数量减少了 8%。为 llama_moe_cache 启用自动模式,具有有希望的基准等待 30966 被合并。 由 /u/pmttyji 提交 [链接] [评论]
正文没能搬到本站:该站禁止服务器(机房 IP)抓取,返回 site,换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡,下面先把收录到的内容给你。
本站会持续尝试重新抓取;也可以收藏这条,正文抓到后会永久保留。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。