在上一篇文章中，我们探讨了数据清洗对大型语言模型（例如RAG系统）的积极影响，通过完整的流程，数据质量的重要性已经深入人心。然而，仅靠清洗还远远不够——要真正训练一个可用的模型，必须亲手构建数据集。今天，我们以训练机器翻译器为例，详细梳理从零准备数据集的全套思路与实操步骤。

数据清洗技术-大语言模型

无论是机器学习还是深度学习，数据集的质量直接决定了模型性能的上限。对于企业级应用而言，不同任务的数据集差异巨大，准备流程也各有特色。本文以机器翻译系统的训练为案例，将整个数据处理流程拆解清楚。

一、机器翻译系统数据准备准则

一个完整的机器翻译系统数据处理流程通常包含三个核心阶段：

1. 训练阶段：需要海量数据来训练神经网络模型，这一步骤既耗费计算资源又需要大量人力。
2. 验证阶段：使用验证集监控模型性能，当性能不再提升时及时停止训练，并选出表现最佳的模型。
3. 评估阶段：在尽可能贴近真实应用场景的数据集上进行最终测试，结果满意则部署，否则需要重新训练。

那么，数据集需要具备哪些关键要素？

• 平行语料库：源语言与目标语言一一对应的配对文本，最好针对特定领域。
• 源语言：待翻译的文本语言。
• 目标语言：翻译后的语言。
• 目标领域：数据越贴近系统实际部署后的场景，效果越好。

数据质量有几个硬性指标需要关注：

• 准确性：翻译必须准确，最好由专业翻译人员手工制作。
• 对齐：句子或段落必须严格对齐。
• 原创性：源端文本应为原创内容，而非从其他语言翻译过来的二手资料。
• 领域相关性：数据尽量集中在目标领域内。
• 原始性：保持原始状态，避免过度预处理导致失真。

数据量如何把握？训练数据在保证质量的前提下越多越好；验证和评估数据则更注重质量，通常几千个平行语段即可满足需求。此外，单语数据容易获取，可用于生成合成平行数据，为训练提供额外素材。同时必须严防数据泄漏——训练集与验证/评估集绝对不能有重叠，否则评估结果虚高，毫无参考价值。在翻译质量方面，理想情况下源语文本由母语者撰写，目标语译文由目标语母语者完成，这是不言而喻的。

平行语料库从哪里获取？两个常用资源库是：OPUS（提供丰富的多语言平行语料）和Hugging Face 数据集（包含大量标注为“翻译”的平行语料）。

二、制作数据集的步骤

下面我们使用OPUS上的数据集进行实操，完整走一遍流程。

2.1 获取基础数据集

首先访问 https://opus.nlpl.eu/results/zh-CN&en/corpus-result-table，选择目标语言。这里我们选用KDE4数据集，moses格式，多语言包，然后通过命令行下载：

#wget https://object.pouta.csc.fi/OPUS-KDE4/v2/moses/en-zh_CN.txt.zip

解压缩：

#unzip en-zh_CN.txt.zip

查看初始的中英文文件内容：

#cat KDE4.en-zh_CN.en
#cat KDE4.en-zh_CN.zh_CN

2.2 取前10万行

从两个文件中分别截取前10万行，生成训练文件：

root@da vid1a100:~/trans# head -n 100000  KDE4.en-zh_CN.zh_CN > train.cn
root@da vid1a100:~/trans# head -n 100000  KDE4.en-zh_CN.en >train.en

2.3 对齐数据集

对齐环节，我们使用Moses工具包中的 clean-corpus-n.perl 脚本（需要从 github moses-smt/mosesdecoder 下载）。该脚本包含多个参数，具体说明如下：

• -max-word-length 50：单词最大长度50个字符，超过则整行删除。
• train：输入文件前缀，脚本会处理 train.cn 和 train.en。
• cn、en：语言代码。
• train.clean：输出文件前缀，清洗后保存为 train.clean.cn 和 train.clean.en。
• 0：最小句子长度（0表示不因长度过短丢弃）。
• 150：最大句子长度，超过150个单词的句子会被丢弃。

执行命令：

root@da vid1a100:~/trans# perl clean-corpus-n.perl -max-word-length 50 train cn en train.clean 0 150

输出信息：

clean-corpus.perl: processing train.cn & .en to train.clean, cutoff 0-150, ratio 9
..........(100000)
Input sentences: 100000  Output sentences:  98922

清理后得到 train.clean.cn 和 train.clean.en，检查行数是否一致：

root@da vid1a100:~/trans# wc -l train.clean.cn train.clean.en
  98922 train.clean.cn
  98922 train.clean.en
 197844 total

对齐完成。

2.4 清洗数据

接下来使用 simple_cleaning 工具（来自 preprocess.git 项目）进行精细清洗。该工具主要执行以下操作：

1. 移除包含无效 UTF-8 编码的行，防止编码错误。
2. 移除包含控制字符的行（制表符和换行符除外）。
3. 移除包含过多通用/继承 Unicode 脚本字符的行（例如数字）。
4. 移除标点符号过多或过少的行。
5. 移除与预期语言脚本差距过大的行（例如英文数据中混入中文句子）。

它会同时处理双语文件，确保清洗一致性。安装依赖和编译：

#sudoapt-get update
#sudoapt-get install libboost-all-dev

git clone https://github.com/kpu/preprocess.git
cd preprocess
mkdir build
cd build
cmake ..
make -j4

然后执行去重（dedupe），这里已经包含了simple_cleaning的结果，我们直接使用：

root@da vid1a100:~/trans# preprocess/build/bin/dedupe -p train.clean.pp.cn train.clean.pp.en train.clean.pp.dedup.cn train.clean.pp.dedup.en
Reading train.clean.pp.cn
----5---10---15---20---25---30---35---40---45---50---55---60---65---70---75---80---85---90---95--100
****************************************************************************************************
Kept 6758 / 6933 = 0.974758

去重后保留了97.5%的数据，效果良好。

2.5 Normalization 正常化

数据中混杂的各种特殊符号需要统一标准化，这一步骤称为标准化。使用 sacremoses normalize 完成。其作用包括：将不同风格的引号统一为标准双引号，减少词汇表大小，避免翻译系统生成怪异的标点风格。安装并执行：

#pip install sacremoses
root@da vid1a100:~/trans# sacremoses normalize < train.clean.pp.dedup.cn > train.clean.pp.dedup.norm.cn
root@da vid1a100:~/trans# sacremoses normalize < train.clean.pp.dedup.en > train.clean.pp.dedup.norm.en

2.6 分词与数值化

接下来是关键步骤——使用 SentencePiece 进行分词和数值化。SentencePiece 的优势在于语言无关，无需预先分词，可直接处理原始文本，将其切分为子词（subword），并支持自定义词汇表大小。训练一个双语句子模型：

root@da vid1a100:~/trans# pip install sentencepiece
root@da vid1a100:~/trans# cat train.clean.pp.dedup.norm.cn train.clean.pp.dedup.norm.en > train.clean.pp.dedup.norm.cn-en
root@da vid1a100:~/trans# spm_train -input=train.clean.pp.dedup.norm.cn-en -model_prefix=cn-en.8kspm -vocab_size=8000

这三条命令依次：安装 SentencePiece → 合并中英文文本 → 训练一个词汇量为8000的模型（模型文件保存为 cn-en.8kspm.model）。

模型训练完成后，分别对中文和英文进行编码（分词并转为数值ID）：

root@da vid1a100:~/trans# spm_encode -model=cn-en.8kspm.model < train.clean.pp.dedup.norm.cn > train.clean.pp.dedup.norm.spm8k.cn
root@da vid1a100:~/trans# spm_encode -model=cn-en.8kspm.model < train.clean.pp.dedup.norm.en > train.clean.pp.dedup.norm.spm8k.en

得到两个文件：.spm8k.cn 和 .spm8k.en，其中每个标记（单词或子词）都对应一个数值ID。查看效果，各取10行对比：

英文：

root@da vid1a100:~/trans# head train.clean.pp.dedup.norm.spm8k.en
▁& ▁Oliv ier . ▁Goffart ; ▁& ▁Oliv ier . ▁Goffart . ▁mail ;
▁& ▁Charles . ▁Connell ; ▁& ▁Charles . ▁Connell . ▁mail ;
▁The ▁& ▁c ryptography ; ▁plugin ▁allow s ▁you ▁to ▁send ▁and ▁re c ie ve ▁encrypted ▁and / ▁or ▁signed ▁messages .
...

中文：

root@da vid1a100:~/trans# head train.clean.pp.dedup.norm.spm8k.cn
▁& ▁Oliv ier . ▁Goffart ; ▁& ▁Oliv ier . ▁Goffart . ▁mail ;
▁& ▁Charles . ▁Connell ; ▁& ▁Charles . ▁Connell . ▁mail ;
▁& ▁c ryptography ; ▁插件 允许您 传送 和 接受 加密 或 签 署 过 的信息 ▁。
...

可以看到，以▁开头的标记表示子词的分隔，中文也被切分成了类似结构。此外，如果需要纯数值ID，也可以指定输出格式：

# 将中文文本转换为数值ID
spm_encode --model=cn-en.8kspm.model --output_format=id < train.clean.pp.dedup.norm.cn > train.clean.pp.dedup.norm.spm8k.cn.ids

# 将英文文本转换为数值ID
spm_encode --model=cn-en.8kspm.model --output_format=id < train.clean.pp.dedup.norm.en > train.clean.pp.dedup.norm.spm8k.en.ids

# 解码回去验证
spm_decode --model=cn-en.8kspm.model --input_format=id < train.clean.pp.dedup.norm.spm8k.cn.ids > train.clean.pp.dedup.norm.decoded.cn
spm_decode --model=cn-en.8kspm.model --input_format=id < train.clean.pp.dedup.norm.spm8k.en.ids > train.clean.pp.dedup.norm.decoded.en

不过，在训练神经网络模型时，通常不需要将 SentencePiece 模型直接传递给网络。模型会通过嵌入层自动学习如何将数值ID映射为高维向量。你只需在预处理阶段用 SentencePiece 将文本转为ID，训练时让网络自行学习，推理阶段再用同一个模型将输出ID解码为文本。总结流程如下：

• 预处理阶段：使用 SentencePiece 模型将原始文本转换为数值ID序列。
• 训练阶段：神经网络接收数值ID序列，学习映射关系，最终完成翻译任务。
• 推理阶段：将模型输出的数值ID序列解码回人类可读的文本。

至此，一份可用于训练机器翻译模型的平行语料数据集就准备完成了。从基础数据获取、对齐、清洗、标准化，到分词和数值化，每一步都直接影响最终模型的质量。希望这份手把手教程能帮助你避开数据准备中的常见陷阱，顺利训练出自己的翻译模型。