看到了这个基准测试,其中编码任务的微小变化会产生很大的差异
原文:Saw this benchmark where small changes to coding tasks made a big difference
看到这条关于编码基准的推文,觉得它有点有趣。显然,他们执行了 89 个 DeepSWE 任务,并在指令或起始代码中更改了一些小内容。该推文称,一些在 DeepSWE 上得分约为 74% 的模型最终在更改后的任务上相差了 23 个百分点。奇怪的是,一些模型似乎忽略了实际的说明,因为他们认为
正文没能搬到本站:该站禁止服务器(机房 IP)抓取,返回 site,换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡,下面先把收录到的内容给你。
本站会持续尝试重新抓取;也可以收藏这条,正文抓到后会永久保留。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。