人工智能公司如何提升代码生成模型的实用性和准确性?近期曝光的细节揭示了Anthropic公司一项大规模人工训练项目的内幕。该项目旨在通过人类工程师的精细反馈,让Claude Code生成的代码更贴近真实开发需求。

据悉,Anthropic正通过一个代号为“Marlin”的项目,借助约1000名拥有软件工程背景的人类工程师,对Claude Code模型进行性能微调。这项工作委托给了数据标注公司Snorkel AI具体执行。参与该项目的外包工程师透露,他们每完成一项评估任务可获得280美元(约合1902元软妹币)的报酬,而每项任务通常需要花费大约一小时完成。
人工评估优化代码生成质量
在“Marlin”项目中,工程师的核心工作是进行A/B测试。他们需要比较由两种不同模型生成的代码输出,从中选择自己更偏好的结果,并评估模型是否真正达到了提示词所要求的细节程度。一名参与者表示,项目的根本目标是训练Claude Code生产更简化、更易于维护的代码,确保其输出能切实满足开发者的实际工作场景。
整个评估过程并非一蹴而就。有些提交的代码需要与Snorkel公司的审批层进行多轮沟通和反复调整,以确保反馈的质量和一致性。值得注意的是,参与评估的外包人员并不清楚他们具体评估的是哪个版本的Claude模型,这或许是为了保证评估的客观性。目前,这一旨在提升AI编程助手核心能力的训练项目仍在持续进行中。
