‹ llama.cpp Releases

b12284:CUDA:添加 OCP FP8 支持 (#28413)

原文:b12284: CUDA: Add OCP FP8 support (#28413)

llama.cpp Releases 未缓存正文

初始 CUDA WIP 版本 使用 fp8 内在函数 在 GEMV 案例中为 FP8 执行 W8A16 (base) osimons@ub-osimons:~/lcpp_fp8.git$ ./build-x64-linux-gcc-reldbg/bin/llama-bench -m /mnt/share/gguf/nvidia/Qwen3.6-27B-NVFP4/Qwen3.6-27B-NVFP4_fp8.gguf -p 8196 -ub 512,2048 -d 0,32000 -n 256 --load-mode dio ggml_cuda_init: 找到 1 个 CUDA 设备 (总 VRAM: 32165 MiB):设备 0:NVIDIA RTX PRO 4500 Blackwell,计算卡

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类