新华社新加坡1月26日电　　记者手记｜如何让人工智能更“靠谱”

　　新华社记者舒畅

　　越来越多人发现，人工智能聊天机器人并不总是可靠。它可能答非所问，抑或前言不搭后语，有时甚至煞有介事地编造根本不存在的消息。在1月下旬于新加坡举行的第40届人工智能促进协会年会上，如何让人工智能更“靠谱”、更“负责”，成为这场国际人工智能学术会议的重要议题之一。

　　在研究者眼中，人工智能的缺陷对应着更细分的问题。比如，人工智能的置信度值是否与真实情况匹配等。一个来自意大利的研究团队在本届年会上提醒说，合理计算人工智能的置信度值非常重要。

　　在这项名为“盲目自信的陷阱”的研究中，参与者在人工智能协助下完成逻辑推理题。结果显示，当人工智能表现得非常自信时，参与者更容易采纳它的建议——但这些建议很可能是错的；然而，如果人工智能犹豫不决，用户却可能会拒绝正确的建议。

　　意大利米兰-比可卡大学的研究成员卡泰丽娜·弗雷戈西说，这两种情况都反映了现实问题：很多人工智能系统的置信度值没有被正确校准，从而向使用者传递了误导性的信号。

　　置信度问题并非人工智能可靠与否的唯一体现。另一项来自印度和美国团队的研究，则从“认知疲劳”的角度，观察人工智能如何在不知不觉中变得不可靠。

　　美国南卡罗来纳大学人工智能研究所的研究成员里朱·马尔瓦说，随着人类与聊天机器人对话时间越来越长，模型会开始“走神”：偏离原始指令、重复输出内容，甚至以自信的口吻生成不可靠的信息。研究团队将这种现象称为“认知疲劳”，且它并非偶发，而是一种系统性效应。

　　“认知疲劳是可以被发现、预测并干预的。”马尔瓦说。团队设计了一个系统，通过追踪注意力衰减等三个关键指标，将人工智能何时开始“疲劳”可视化，并提供多种实时干预手段，如当人工智能开始偏离指令时，这套系统会重新输入原始指令，让对话回到“正确轨道”。

　　在大会现场，从单一的聊天机器人，到可以自主完成任务的智能体，再到多个智能体组成的协作网络，研究者们不只关注它们的能力与效率，也反复探讨它们的边界和可控性。

　　在不少与会者看来，完全放手让智能体自主完成任务，远没有想象中简单。

　　“目前，这些智能体的行动边界非常宽，它们能写代码，可以在计算机上做我们能做的任何事情……所以，我们应该把研发重点转向人类与智能体的协作，建立智能体与人类之间的透明交互，这具有现实紧迫性。”美国微软人工智能前沿实验室主任埃杰·卡马尔说。

　　微软首席科学家埃里克·霍维茨认为，当前种种不确定性，与人类尚未完全理解人工智能内部运作机制密切相关。

　　在23日的历任主席对谈会上，他说：“今天的人工智能表现令人惊讶。我说‘惊讶’，是因为我们仍无法给出令人满意的科学解释：它们为何如此高效？如何失败？在哪些方面脆弱？对人工智能内部机制和原理的系统性科学探索，现在变得非常紧迫。我们必须打开这个‘黑箱’。”（完）