适用于混合供应商 GPU 的 CUDA+ROCm 双后端 LLM 推理（速度提升高达 48%）
原文：CUDA+ROCm dual-backends LLM inference for mixed-vendor GPUs (up to 48% faster)
我看到了将 Strix Halo 的 iGPU 与 RTX 5090 结合起来进行 LLM 推理的潜力。最初我发现没有推理引擎可以同时在这两个 GPU 上运行 LLM 推理，vLLM 等推理引擎支持在所有 CUDA GPU 或所有 AMD GPU 上进行推理。 llama.cpp Vulkan 后端是我发现的唯一支持两者的推理引擎，但它对预填充 p 有很大的限制
正文没能搬到本站：该站禁止服务器（机房 IP）抓取，返回 site，换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡，下面先把收录到的内容给你。
本站会持续尝试重新抓取；也可以收藏这条，正文抓到后会永久保留。
正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。