解决了模型适合 GPU 时 CPU 使用率过高的问题，注意 -ngl -1 llama.cpp 层卸载到 GPU 和 llama-fit-param

原文：Solved High CPU usage when model fit in GPU, beware of -ngl -1 llama.cpp layers offloading to GPU and llama-fit-param

我试图弄清楚我可以在 3090 上使用多少上下文（完整计算，显示器位于主板上）。如果我启动： llama-bin-win-cuda-13.4-x64\llama-fit-params.exe --model modelli\Swift-1.5-Qwen3.8-27B-Q4_K_M.gguf -ctk q8_0 -ctv q8_0 -ngl -1 -fa on -np 1 -b 4096 -ub 1024 我得到： -c 150272 -ngl -1 但如果我在较低的上下文中启动真正的 llama.cpp： llama-bin-win-cuda-13.4-x64\llama-server.exe --verbose

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。