图灵测试本身是个定性的、概念性的东西——理论上，随便哪个程序只要把测试范围缩窄、限定好数据集，都能宣称“通过”。但换到产品视角，情况就完全不同了。这时候，能不能通过图灵测试，直接卡在产品边界上，拳拳到肉。一旦通不过，AI驱动的产品就根本立不住。

所以，这次测试我们特意从真实产品中抽了几个典型场景，做了一些再包装，目的是把“图灵测试2.0”这个概念讲清楚。为了避免误读，先做三点声明：

第一，测试不权威、不全面，但可复现，过程数据都留着——你按步骤来，也能自己做一遍。
第二，结果不代表各模型的优劣，只反映它们和设定场景的匹配度。
第三，选模型确实带有主观倾向，在“用得起的”和“好用的”之间做了个权衡。

角色中心式计算与图灵测试2.0

“角色中心式计算”是相对于“功能中心式计算”来说的。到今天为止，我们用的绝大多数APP是按功能划分的：IM就是聊天、搜索就是搜东西、外卖就是点餐、打车就是叫车，职能单一。但一个角色的职责，往往需要组合很多功能才能完成。哪怕只是一个招聘的角色，背后也得组合十几个工具——从IM到招聘APP——才能把一个人招进来。

有了AI，它可以充当那个居中调度的角色。所以，应用下一步必然走向角色中心式计算。而这个模式能不能成立，核心在于AI的智商是否足以处理角色边界内的一切事情。比如招聘场景里，AI要能判断当前JD描述是否匹配需求方的要求，还要判断一个候选人是否初步匹配某个岗位。如果每个关键步骤都能由AI完成，那么对用户来说，不仅对话分辨不出是真人还是AI，连实际反馈也分辨不出来——这就通过了“图灵测试2.0”。

这个概念之前聊得不少，不再重复。但过去一直缺一个“往下一步”的东西：怎么设计和实现图灵测试2.0的具体例子？这篇文章的重点就在这儿——我们抽一个真实场景的核心步骤，从易懂的角度包装成一个极简例子，看看这个概念怎么分解，怎么和一个具体角色融合。

图灵测试2.0的示例

假设我们打造一个简单的角色：它是你的袋里，能按照你的设定，在某个UGC平台上发布你生成的内容（OpenAI发布会上Greg Brockman演示过类似例子）。我们略去大量细节，就抓住这个角色的四个关键内涵：

1. 完成你对自己的人设。
2. 针对特定话题或问题生成内容。
3. 确保内容质量。
4. 发布等执行步骤。

第四步靠传统的RPA技术就能解决，不关键，后面直接略过。前三步里，除了生成内容本身，AI还需要做两个判断：第一，生成的内容是不是真的匹配对应话题或问题？内容生成是一次性的，但发布到多个平台是多次性的，所以匹配判断要反复做。第二，内容的基础质量怎么样？

这两件事看着简单，但在AI大模型出现之前，还真不好办。过去你没办法针对特定问题实时生成内容，更没法实时大批量判断匹配度。这好比从无机物到单细胞生物，是质的跃迁。

为了缩短篇幅，我们再降低目标：只完成第一项工作——生成一个内容概要，然后用大模型判断这个概要跟问题的匹配度。这里直接用模型也行，用Embedding算法也行，各有利弊，我们只关注模型判断结果。做完后举个例子：你生成的内容是关于《青玉案·元夕》的，那它可以匹配到“古诗词”的标签或特定问题下面。

所有测试做完后，还需要人工标注一下最终结果，这样才能提供一个绝对尺度，知道AI算法能做到什么程度。

第二项的评测，简化成用BLEU算法来评测生成内容的相似度——目的是避免内容重复。因为即使输入（人设、话题等）有相似性，也不希望反复发表一样的内容。至于内容是否足够优美，暂时不管，那个太麻烦。

为了完成测试，需要一些真实数据，可以手动编辑或者抓取。这部分跟你具体辐射的领域有关——文艺青年、斜杠青年需要的数据就不一样。但跟RPA一样，是传统活，大部分程序员都会做。为了避免不必要的麻烦，数据先不公开了。

以上工作做完，其实就完成了一个角色到图灵2.0测试集的基础映射：关键是要分解角色内涵，为关键判断建立测试集。

测试结果

在准备的1000条测试数据上，第一项测试的结果如下：

这里的“检出率”指在1000条测试项目里，有多少条模型判断为匹配；“准确率”指在模型认为匹配的项目中，跟人的标注相比准确率如何。这个结果怎么用，取决于你的倾向性——显然，数量优先和质量优先，结果是不一样的。

最有趣的一点是：至少在这个判断项上，AI还不如人。所以如果判断项比较多，整体精度的控制会是个很有挑战的问题。

然后我们测试内容生成部分的质量。不测文辞是否优美，就测生成内容最简单的BLEU值，参数用缺省值，temperature等不改。如果想做得细，可以反复试多组值，但我们只是为了说明概念，就不深究了。

最终测试结果中，得分前三的模型：

全部模型的测试结果：

“与原文对比”指创作内容和原始种子比较，统计BLEU值小于0.75的比例——0.85意味着85%的内容差异度大于0.75（原文可看成内容种子，基于原文和提示词生成内容）。“与改写结果比”指用同样方法生成3次内容，看BLEU值，把小于0.75的除以3就是上面的结果，当然提示词里会包含加大差异度的部分。

内容生成比较耗token，所以同步记录了token数目和费用。最后发现有个模型价格离谱，说明初选时选错了。

例子的意义

当这种测试可以通过，那就意味着从技术视角看，对应的角色能通过图灵测试2.0。如果精度达不到一定程度，你设定的角色在当前AI智商下就不成立——不管演示多酷炫、别人怎么吹捧，对解决你设想的问题都没有意义。

其次要理解，任何一个角色的成立，要涵盖角色的N多方面。用AI做亮眼的Demo，和用AI做真正能用的产品，难度不在一个数量级——虽然看着差不多，但就像普通镜头跟哈勃望远镜镜头的区别。

这种测试结果，也能从产品角度标识AI的真实进展，往往和某些媒体上的认知有很大偏差。落地时，里面的项目和复杂度当然需要进一步增加。但真想用AI，现在就得开始建立你自己的测试集，并且在模型还不稳定的时候定期测试。如果这个测试集的数据采样足够丰富，再对接一个各大大模型的测试框架——那在你的领域里，你会比任何人都权威，不用听任何人的。这就是之前一直说的“一手体验”。

对一般人来说，挑战倒不在提示词怎么写——资料多，反复试总能找到方案，最不济还能问AI。麻烦的是怎么组合各种算法。不是所有时候都只用大模型一种算法就行，这部分只能陆续探讨，没有唯一解法。

限制

上述方法现在可以支持一些比较简单的角色。但因为角色自身的行为模式还是基于规则，只能在限定的流程框架下完成任务。如果角色过于复杂，可能还需要AI进一步进步，暂时可以别碰。不过，这已经能打造出一些和过去不一样的应用了。

小结

最后再总结一下图灵测试2.0的全过程：先定义你认为有商业价值的角色，然后依据角色挖掘其内涵，具体成相应的图灵测试2.0测试集，接着反复测试各种模型。如果能通过，从技术角度看角色成立，产品可以启动；否则就得等等。回到现场的一手体验，是AI产品最最关键的起点。