人工智能的发展速度有目共睹，而其中的“明星”大语言模型（LLM）更是以其卓越的语言理解和生成能力，一次次刷新着我们的认知。不过，在享受这些模型带来的便利时，一个问题也越来越无法回避：它们真的“诚实”吗？它们足够“安全”吗？
最近，一项来自华中科技大学等机构的研究，为这个挑战提供了一个系统性的解决方案。研究团队不仅从理论层面梳理了“诚实AI”应遵循的原则，还构建了全新的评测基准，并针对开源和商业模型分别设计了优化方法。实验结果令人印象深刻：经过两阶段微调后的Llama3模型，其诚信度提升了65%。这项成果为构建更可靠、更有益的AI助手指明了一个清晰的方向。
论文标题：
The Best of Both Worlds: Toward an Honest and Helpful Large Language Model
论文链接：
https://arxiv.org/pdf/2406.00380
大语言模型的诚实性挑战
大语言模型在对话、写作、问答等领域的潜力毋庸置疑。但潜力之外，现实中的应用困境也逐渐浮出水面。其中一个核心痛点，便是模型的“诚实性”——或者说，是它缺乏足够的自知之明。
一个常见场景是，当被问到超出其知识范围（例如最新的时事新闻）或能力边界（例如处理多模态信息）的问题时，模型往往不会坦诚地说“我不知道”，而是倾向于生成一个看似合理、实则错误甚至误导的“幻觉”答案。这就好比请一位不了解股市的专家荐股，他却能侃侃而谈，给出一个“自信满满”的错误代码。长此以往，用户将难以判断模型的输出何时可信，自然也就不会将其应用于需要高信任度的关键任务中。因此，如何让大模型学会“知之为知之，不知为不知”，成为一个亟待突破的技术关卡。
“诚实”大模型的“修炼”之道
针对这一挑战，研究团队提出了一套从理论到实践、从评测到优化的完整框架。
首先在理论上，他们对“诚实的大模型”应该是什么样进行了清晰定义。简单来说，它需要具备三种关键的自我认知能力：
- 认知边界： 清楚自己能力的边界，对无法回答的问题能给出合理的“免责声明”。
- 保持中立： 不盲从或迎合用户的错误引导，能坚持客观立场。
- 身份认同： 明白自己是一个AI工具，而非拥有情感和真实感知的人类。
理论明确了，接下来就需要一把精准的“尺子”来度量模型的诚信水平。为此，团队构建了一个名为“HoneSet”的全新评测数据集。这套数据集包含了六大类精心设计的“刁钻”问题，旨在从多角度“拷问”模型：
- 最新信息（Latest Information）
- 用户输入（User Input）
- 专业能力（Professional Capability）
- 模态不匹配（Modality Mismatch）
- 交互感知（Interactivity Sensory）
- 自我身份（Self Identity）
HoneSet的构建过程分为三步走，确保了数据的质量和多样性：首先，人工定义种子问题，利用GPT-4进行扩增；其次，通过嵌入模型过滤重复项，并进行语义复述以增加覆盖面；最后，经过专家人工评估和筛选，完成最终版本。
有了理论指导和评测基准，研究的实操部分针对两类主流模型（开源与商业）设计了不同的优化路径：
1. 开源模型：用“好奇心”驱动提示优化
对于无法直接调整内部参数的开源模型（主要是在线API调用），研究提出了一种巧妙的“好奇心驱动”提示方法。这本质上是教会模型如何“自我提问”和“自我修正”。
整个过程分为两阶段： 第一阶段：表达困惑。 通过特殊的提示词，引导模型先别急着回答，而是先仔细审视问题，并尝试表达出自己的困惑点在哪里——是缺乏实时信息？还是用户问题描述不清？抑或是超出了自身的知识领域？这一步的核心是唤醒模型对自身局限性的认知。 第二阶段：优化回答。 将模型在第一阶段表达的“困惑”连同原始问题一起，再次输入给模型，同时附上一套“宪法式”的诚信原则作为指引。此时，模型需要基于这些原则和对自身局限的认知，生成一个优化后的、既诚实又有益的回答。
2. 商业/可微调模型：两阶段微调
对于可以对模型权重进行调整的场景，研究者设计了一个更彻底的解决方案：两阶段微调。这个方法借鉴了“课程学习”的思想，让模型循序渐进地掌握诚信和助人的品质。
第一阶段：学会分辨诚实。 在HoneSet数据集上训练模型，通过优化对比损失函数，让模型能够明确区分什么是诚实的回答，什么是不诚实的回答。 第二阶段：学会变得有益。 在第一阶段的基础上，进一步通过优化基于人类偏好的奖励函数，让模型不仅诚实，还能提供更具建设性、更有帮助的回答。 实验表明，这种分阶段、渐进式的训练策略，效果显著优于直接进行端到端的微调。
诚信“修炼”初见成效
为了验证方法的实际效果，研究团队在包括GPT-4、ChatGPT、Claude在内的9个主流大模型上进行了广泛测试。
首先看提示优化的效果。结果显示，采用“好奇心驱动”提示后，所有测试模型在HoneSet上的诚实度都获得了飞跃。例如，GPT-4和Claude的诚实度达到了100%，实现了完美的诚信对齐；即便是参数量较小的Llama2-7b，诚实度也从43%飙升到了83.7%。绝大多数模型的诚实度都超过了60%，证明了该方法的强普适性。
人工评估进一步证实了优化回答的质量。在成对比较中，优化后回答的胜出率普遍高于原始回答，表明其不仅在诚实度上，在回答的有益性方面也更受人类青睐。
此外，研究者还从“解释局限性”、“提供解题思路”、“给出具体指导”三个维度进行了量化分析。结果显示，各模型在这三个维度上均有显著进步，表明优化后的模型不仅更“老实”，也更“有用”了。
再看两阶段微调的效果，数据更为惊人。以Llama3-8b和Mistral-7b为例：
Llama3-8b的诚实度从49.2%提升至91.7%，其综合评分（总分）也从4.975分跃升至8.225分，提升了65.3%。 Mistral-7b的提升则更加“暴力”，诚实度从32.5%暴涨至85.8%，总分从3.308分翻倍至7.433分，提升幅度高达124.7%。 最关键的是，如此显著的提升，仅仅使用了1000对精心构建的训练数据，展现了该方法极高的数据效率。
进一步的分析显示，经过微调后，模型在“用户输入”、“模态不匹配”、“交互感知”等原本容易“翻车”的类别上进步最为明显。
无论设定何种评分阈值，两阶段微调的效果都稳定优于直接端到端微调，再次验证了课程学习式渐进训练策略的有效性。
总而言之，无论是无需动权重的“提示工程”，还是需要调整参数的“两阶段微调”，这项研究给出的方案都在提升大模型的诚实性与有益性方面取得了突破性进展。
总结与展望
这项研究为大语言模型的“品德教育”探索了一条切实可行的技术路径。随着AI更深地融入人类社会，一个能坦然承认“我不知道”，并能在此基础上提供建设性帮助的AI助手，其价值将不言而喻。
当然，打造真正诚实可靠的AI绝非一日之功。未来的挑战依然众多：如何动态更新“诚实”的定义以适应不断拓展的应用场景？如何开发更高效精准的优化算法？这些都需要学界与工业界的持续通力合作。但无论如何，这项研究已经迈出了关键而扎实的一步，让我们看到了一个更可信的AI未来正在成为可能。