大语言模型的多语言机器翻译能力评估_AI热点日报

基于XGLM、OPT、BLOOMZ、ChatGPT等模型，在102种语言和202个翻译方向上系统评测多语言机器翻译能力。ChatGPT表现最佳，但在83 33%方向上仍落后于有监督基线NLLB。任务示例可提升指令微调模型性能；随机选择示例与语义检索效果相当；跨语言示例可用于低资源翻译。数据泄漏风险需警惕。

总起

近年来，以ChatGPT为代表的大语言模型（Large Language Models，LLM）在机器翻译（Machine Translation，MT）任务上展现出了惊人的潜力。通过情景学习（In-Context Learning，ICL），大语言模型可以根据任务示例和任务指令，在不更新模型参数的情况下完成特定下游任务。然而，这些模型主要基于大规模通用语料进行语言模型任务的学习，并未经过大规模多语言翻译数据的专门训练。那么，大语言模型的多语言机器翻译能力究竟如何？哪些因素会影响它们的翻译表现？本文基于XGLM、OPT、BLOOMZ、ChatGPT等热门模型，在百余种语言上系统评测了其翻译能力，并深入分析了情景学习中各种因素对翻译效果的影响。

一、研究动机

以ChatGPT为代表的大语言模型在机器翻译任务上展现了惊人潜力。通过情景学习，大语言模型可以根据任务示例和任务指令，在不更新模型参数的情况下完成特定下游任务。然而，这些模型主要基于大规模通用语料进行语言模型任务的学习，并未经过大规模多语言翻译数据的专门训练。我们非常好奇于以下两个问题：

大语言模型的多语言机器翻译能力如何？
哪些因素会影响大语言模型的翻译表现？

为了深入探究这些问题，本文评测了XGLM、OPT、BLOOMZ、ChatGPT等众多热门大语言模型在百余种语言上的翻译能力，并分析了情景学习中各种因素对翻译效果的影响。

二、主要贡献

1. 全面评测： 本文在102种语言以及202个以英文为核心的翻译方向上，全面评测了包括ChatGPT在内的热门大语言模型的多语言机器翻译能力。
2. 系统报告： 本文系统报告了一系列大语言模型以及两个有监督基线的翻译表现，为后续大语言模型和多语言机器翻译研究工作提供了有力参照。
3. 新发现： 本文还发现了在机器翻译任务上，大语言模型展现出了一些新的工作模式。

三、实验设定

为了全面衡量大语言模型的多语言机器翻译能力，本文选用Flores-101数据集进行实验。在应用大语言模型进行情景学习的过程中，本文设置任务示例数目为8，任务指令模板为“=”，其中“”和“”分别为源句和目标句对应的占位符。此外，本文也报告了M2M-100-12B和NLLB-1.3B这两个强大的传统有监督模型的多语言翻译表现作为参照。