我在约 11B 代币上训练了 348M 活跃的 MoE。在打乱的事实链上，它的得分为 85.5%，而 Qwen2.5-1.5B 的得分为 53.3%。 GGUF + eval set——请尝试打破它。

原文：I trained a 348M-active MoE on ~11B tokens. It scores 85.5% vs Qwen2.5-1.5B's 53.3% on shuffled fact chains. GGUF + eval set — please try to break it.

我最近一直在研究一个小型稀疏的 MoE，并且得到了一些有趣的结果，我希望陌生人能够使其无效。太棒了；我训练小模型并得到了令人惊讶的结果并寻求无效。他不是一般助理，我也没有声称他是。编辑：在单个 5090 上进行训练。也许人们对此感到好奇。该模型有 1.17B 存储参数，每个 token 大约 348M 活跃参数，scrath 训练

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。