TraceKV：用于推理视觉语言模型的策略保留低阶 KV 缓存压缩

原文：TraceKV: Policy-Preserving Low-Rank KV Cache Compression for Reasoning Vision-Language Models

推理视觉语言模型 (VLM) 对大型多模式上下文和不断增长的推理轨迹提出了大量的 KV 缓存需求。低秩 KV 压缩已成为一种有前途的范例，它存储 KV 状态的低维潜在值，并且可以与量化相结合。然而，当比较时，现有的低秩方法通常会导致密集模型的预测策略漂移不断增加。

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。