查询引导的 RoPE 调制,用于缓解长上下文 LLM 中的中间丢失
原文:Query-Guided RoPE Modulation for Lost-in-the-Middle Mitigation in Long-Context LLMs
长上下文语言模型经常忽略输入中间的信息,这种现象称为“中间丢失”。这种差距的部分原因可能源于旋转位置嵌入(RoPE)的长程衰减,它削弱了远处令牌之间的位置信号。现有的输入压缩删除了低重要性标记,并且只有在 RoPE 削弱了该标记后,注意力重新加权才会起作用
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。