SAE 训练数据的缩放法则
原文:Scaling Laws for SAE Training Data
激活存储通常是稀疏自动编码器(SAE)训练中的瓶颈。我们研究当 SAE 的总培训预算固定时需要多少次独特的激活。随着缓冲区的增长,质量会迅速提高,然后达到一个稳定水平,在该平台上重放缓冲区几乎与在整个训练过程中使用新激活一样有效。除此之外,额外的独特激活几乎不会带来任何影响。
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。