先说几个核心判断：利用代码训练模型，不仅仅是为了让模型具备编程能力——其中蕴藏的推理能力，竟然还能泛化到其他领域。DeepSeek团队近期发布的一项研究，正好证实了这一点。

他们构建了一个名为CODEI/O的数据集，包含超过300万个训练样本，核心思路是将代码转化为推理链条，然后用这个数据集去训练Qwen、Llama等开源模型。最终结果：模型在各类推理任务上均取得了显著提升，即便是与代码毫无关联的任务，也从中获益。

背后的逻辑其实很直观：代码天然蕴含了各种场景下的推理逻辑——条件判断、循环、递归、数据结构操作……这些本质上就是"从输入如何得到输出"的思考过程。团队的目标，就是把这种过程"萃取"出来，转化为模型能够理解的自然语言思维链。

具体怎么做？他们生成了大量训练数据，实际运行这些代码，然后把代码本身、输入/输出对、功能描述一起喂给DeepSeek-V2.5，自动合成自然语言形式的推理过程。在此基础上，又引入了验证与修正机制，打造出质量更高的CODEI/O++。

从代码中构建思维链

第一步是收集原始代码。团队从CodeMix、PyEdu-R等数据集中提取了80多万份代码文件，涵盖多种编程语言（以Python为主），任务类型丰富多样，其中包含的推理模式相当广泛。

不过原始代码通常结构混乱、依赖关系不明确、无法直接运行。因此需要先用DeepSeek-V2.5进行预处理，统一格式。主要操作包括：将核心逻辑提取为函数，添加一个主入口函数来统筹全局，明确主入口的输入输出定义，创建独立的基于规则的输入生成器，以及生成简洁的问题描述作为查询。

转换之后，针对每个函数，使用输入生成器采样多个输入，然后执行代码获取输出，从而收集到输入-输出对。当然，并非所有代码都能顺利执行——超时、复杂度太高、不可执行、结果不确定的样本都被过滤掉了。最终保留了40多万份代码文档，生成了350万个样本实例。

接下来是关键环节：将代码、输入输出对、功能描述等信息，输入给DeepSeek-V2.5，生成自然语言思维链（CoT）。每个输入-输出对被拼成一个提示，包含：函数定义（标准化后的Python代码）、文本描述（功能概括）、参考代码（带有注释的代码）、以及具体的输入或输出。模型根据这个提示，生成一段解释"如何从输入推导出输出"的文字。这就是CODEI/O的原始数据。

而CODEI/O++的改进在于：利用代码的可执行特性来验证质量。具体流程是——先对CODEI/O中生成的每条响应，重新执行代码验证正确性。如果发现结果有误，就把执行信息（例如输出预测的正确性、错误消息等）追加到下一轮输入中，要求模型重新生成。第二轮生成后再检查一次。无论结果如何，最终响应都包含四部分：第一轮响应、第一轮反馈、第二轮响应、第二轮反馈。如果第一轮就正确，第一轮反馈标记为"Success"，跳过第二轮。所有经过修正的响应都被保留下来，形成了增强版的CODEI/O++。

数据集准备完毕后，训练策略也很有讲究：两阶段训练。第一阶段先用CODEI/O或CODEI/O++训练推理能力；第二阶段再使用通用指令数据集进行微调，让模型学会遵循自然语言指令、执行各种任务。

模型推理能力全面提升

为了验证效果，团队选取了四个模型进行测试：Qwen 2.5-7B-Coder、DeepSeek v2-Lite-Coder、Llama 3.1-8B 和 Gemma 2-27B。评估覆盖了常识、数学、代码、物理、工程等十几个数据集，具体如下表（图片保留）：

结果非常有趣。Qwen-Coder在代码理解任务上表现突出，同时在阅读理解和推理任务（如DROP）上也有明显提升——这充分说明通过代码训练获得的推理能力，确实能够迁移到其他领域。DeepSeek-Coder同样展现出均衡的进步，各个维度都有稳定改进。这两个代码专用模型的提升表明：即便模型本身已经是代码领域的专家，这种结构化的推理训练依然能使其变得更强。

Llama 3.1-8B的变化最为惊人：LeetCode-O上的性能提升了将近150%。这证明小参数模型在合适的方法下，同样能在特定任务上爆发出巨大潜力。而Gemma作为测试中规模最大的模型，展示了CODEI/O方法在大型模型上的适用性，多个关键领域均有所进步。

对比来看，CODEI/O的整体效果优于数据量更大的WebInstruct（WI）；而相比于专门为数学设计的OpenMathInstruct2（OMI2）或教育类数据集PyEdu，CODEI/O展现了更强的通用性——它不只是提升某一项能力，而是让模型在多种推理任务上都变得更出色。

归根结底，代码本身就是一种高度结构化的思维语言。将其转化为模型能够理解的推理过程，或许比想象中更接近"教会模型思考"的核心。当然，这条路仍然漫长，但至少方向已经明确。