阅读一次，回答多次：共享上下文 LLM 推理的并行提示

原文：Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference

LLM 工作负载有时会针对同一份长文档提出许多独立问题，例如文档 QA、数据标记和基于 LLM 的评估。前缀缓存删除了这些查询共享的冗余预填充，但每个解码步骤仍会针对每个问题读取一次文档的键值 (KV) 缓存，因此解码受内存带宽限制并随问题数量缩放。我们介绍帕拉尔

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。