BitDecoding-FP4:通过算法系统协同设计进行本机 FP4 KV 缓存解码
原文:BitDecoding-FP4: Native FP4 KV Cache Decoding via Algorithm-System Co-Design
键值 (KV) 缓存在长上下文 LLM 服务中主导内存容量和带宽。虽然 4 位微缩放格式(NVFP4、MXFP4)缩小了缓存并在 FP4 Tensor Core 上运行注意力,但算法量化和系统感知加速之间仍然存在根本差距:现有 FP4 KV 系统使用普通量化,导致精度严重下降,而面向精度的 4-
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。