如何微调 NLLB-200 模型以翻译新语言(教程含源码)

“NLLB”（代表“不留下任何语言”）是Meta AI 于 2022 年发布的机器翻译模型家族。这些模型可以在202 种语言中的任何一种之间翻译句子，这是一个巨大的研究突破。但世界上大约有7000种语言，因此大多数至今仍被遗忘。

我们如何才能教这个模型多一种语言？在本教程中，我将展示它。作为演示，我们将教模型在俄语和资源匮乏的Tyvan 语言之间进行翻译，这对于该模型来说是新的。俄语属于斯拉夫语系，而泰文语属于突厥语系，受蒙古语影响很大。因此，虽然它们是用类似的西里尔字母书写的，但它们之间的翻译并非易事。尽管如此，得益于 202 种语言的预训练，NLLB 可以做得很好。

本教程的完整代码可以在文章底部。该教程包括 8 个步骤：

查看训练数据
检查新语言的标记化
（可选）更新词汇表
（可选）添加新的语言标记
训练神经模型
评估模型
出版
（可选）使用 Docker 应用程序为模型提供服务

关于泰万的注释

蒂瓦语，也称为图瓦语，是突厥语系的成员，主要在位于俄罗斯西伯利亚中南部的图瓦共和国使用。泰万语的根源与图瓦地区的社会历史结构深深交织在一起，几个世纪以来，它吸收了蒙古语、藏语和俄语中的大量词汇。泰文语被归类为东北突厥