文本编码何时对语言建模很重要？

原文：When does text encoding matter for language modeling?

UTF-8 作为语言模型中事实上的编码标准，由于其可变长度设计而引入了跨语言不平等。然而，这种编码选择对模型性能的影响在很大程度上仍未得到检验。在这项工作中，我们研究了文本编码如何影响字节级语言模型的性能，并将 UTF-8 与各种其他编码策略进行比较

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。