‹ arXiv cs.CL

深层潜伏,长记忆:潜伏持久性解释了变压器激活中的时间相关性

原文:Deep Latents, Long Memory: Latent persistence explains temporal correlations in transformer activations

arXiv cs.CL 未缓存正文

人们认为大型语言模型(LLM)的隐藏层对数据的表示进行编码,其抽象程度随着深度而增加。然而,在缺乏可操作的抽象概念的情况下,这种说法很难进行定量测试。在这里,我们提出了另一种观点,其基础是序列的相关性反映了生成过程的结构。

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类