更新:tandem.cpp — 配备 16 GB 卡的 64 GB PC 上的 DeepSeek-V4.1,并支持 AMD (ROCm)
原文:Update: tandem.cpp — DeepSeek-V4.1 on a 64 GB PC with a 16 GB card, and AMD (ROCm) support
tandem.cpp 的快速更新,我的 llama.cpp 补丁集,它运行对于 VRAM 来说太大的 MoE 模型,速度更快。它将热门专家保留在 GPU 上,并让 CPU 帮助完成其余的工作。仓库:https://github.com/ewhacc/tandem.cpp DeepSeek-V4.1-Flash IQ2_XS(ISTA GSQ-RCO,139 GiB 专家)在普通 PC 上解码 tok/s,一个用户,GSM8K 问题,贪婪,精确(没有专家在任何引擎上跳过),相同的量化
正文没能搬到本站:该站禁止服务器(机房 IP)抓取,返回 site,换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡,下面先把收录到的内容给你。
本站会持续尝试重新抓取;也可以收藏这条,正文抓到后会永久保留。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。