大模型如何让小爱同学更智能？揭秘意图分发与理解的技术突破

大模型浪潮席卷而来，小爱同学怎么接住这波技术红利？今天聊一聊背后的核心技术——意图分发与理解。简单说，就是让AI助手更懂你，知道你想要什么，然后快速给出答案。

核心内容：

• 小爱同学产品架构与大模型应用背景
• 意图分发模型的技术难点与解决方案
• 垂域意图理解与回复生成的实践效果

导读 这篇文章会介绍大模型在小爱同学产品上的具体落地情况，重点分享在意图分发、意图理解、回复生成三个环节的实践经验。

主要内容包括以下几部分：

• 小爱同学概要介绍
• 大模型意图分发
• 大模型垂域意图理解
• 大模型回复生成

01 小爱同学概要介绍

小爱同学已经是一个无处不在的AI助手了。产品线覆盖小爱建议、小爱语音、小爱视觉、小爱翻译和小爱通话，支持的设备从手机、音箱到电视，再到小米汽车，可以说无孔不入。

ChatGPT引爆大模型浪潮之后，国内外公司都开始发力。团队也在思考一个问题：怎么让小爱同学用上大模型，并且用出效果？经过多轮讨论，大家达成共识——用大模型重新构建小爱同学。结果很直观：产品体验和用户留存都得到了大幅提升。具体数据上，活跃用户次日留存提升了10%，中长尾query满足率提升了8%。

上图展示了小爱同学的整体架构，思路是“分而治之”。一个query进来，先由意图分发大模型判断意图归属，再把query路由到下游各个垂域的Agent。每个垂域Agent内部又有专门的意图理解大模型进行深度理解。这种分层设计的好处是：每个垂域只关注自己的一亩三分地，迭代难度小，效率高，用户需求也能得到更好的满足。

02 大模型意图分发

1. 意图分发介绍

意图分发的核心任务，就是判断用户query到底属于哪个领域，然后把它精准地送到对应的垂域agent手里。因为垂域agent只关心自己的意图理解，整个模型迭代起来更轻量，效率也更高。

但这个环节有两个难点：

• 模型需要“知识”才能正确理解。比如“打开设置”和“打开空调”，前者是系统操作，后者是设备控制，模型得能区分清楚。
• 耗时要求极高。小爱场景下，意图分发必须在200ms以内搞定，时间窗口非常紧。

2. 大模型尝试

既然意图分发需要知识，而大模型经过海量数据预训练，天然具备知识储备。团队最先想到的就是用prompt engineering：直接设定一个任务，把用户请求扔给大模型，让它输出意图。但实践下来，碰到了两个问题：

• 输出意图与预定意图不一致：大模型自己脑补出来的分类，跟我们预先定义好的意图体系对不上。
• 小模型不听话：只有百亿级或千亿级的参数模型才能有效遵循指令；更小的模型倾向于直接回答问题，而不是做分类。

为了解决这些问题，团队试了few-shot方法——在prompt里定义意图，并给几个示例query。效果有一定缓解，但问题更大：输入token太多，加上严格的200ms耗时限制，prompt engineering这条路根本走不通。最终，团队转向了大模型微调。