利用变形金刚的注意力偏差

原文：Exploiting Biases in Attention for Transformers

众所周知，视觉变换器中的注意力是稀疏的。特别是，我们分析了注意矩阵列与最终计算的不平等相关性，并表明这种现象随着网络深度的增加而变得越来越明显。这可以解释为令牌对于注意力过程具有绝对重要性，独立于查询。受此启发，我们提出了一个参考

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。