不同的语料库,不同的技能?小语言模型的配对研究
原文:Different Corpora, Different Skills? A Paired Study of Small Language Models
小语言模型通常是在紧张的数据预算下进行训练的,其中预训练语料库的选择可能与模型大小或训练配方一样重要。我们比较了两个具有 1000 万字和 3700 万字预算的对比语料库:1911 年的大英百科全书和 BabyLM 2026 严格的预训练语料库。对于每个语料库,我们训练教师模型,提炼出 5800 万个参数 B
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。