使用分层树结构索引器进行次二次注意力

原文：Subquadratic Attention with a Hierarchical Tree-Structured Indexer

注意力的二次缩放是限制大型语言模型（LLM）的长上下文能力的基本瓶颈。有多种方法试图规避这一点，但它们要么无法匹配注意力的表达能力（例如，滑动窗口或具有固定大小状态的线性注意力变体），要么只能实现恒定因子的加速（例如，稀疏注意力方法

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。