‹ arXiv cs.AI

使小语言模型适应罗马化尼泊尔语:分词器丰富性、参考可能性和生成指标

原文:Adapting Small Language Models to Romanized Nepali: Tokenizer Fertility, Reference Likelihood, and Generation Metrics

arXiv cs.AI 未缓存正文

罗马化尼泊尔语,即用拉丁文字书写的尼泊尔语,在数字通信中很常见,但没有标准拼写,资源也很少,目前还不清楚小型开放语言模型如何可靠地适应它。我们采用来自不同系列的三个 2-3B 基本模型 Llama-3.2-3B、Qwen2.5-3B 和 Gemma-2-2B,并使用 QLoRA 处理 Ne 的确定性音译生成的 9,000 个指令示例

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类