最近ChatGPT确实火得一塌糊涂,作为一个兼具分析与生成能力的AI,它碘伏了不少人的认知,甚至有人直言这是强人工智能的曙光。文本分类、信息抽取、文本生成、代码生成……仿佛无所不能。
上回跟师兄师姐和老师们吃饭,席间聊起ChatGPT,大家的感受都很直接:既然它几乎把NLP所有方向都统一了,那我们这些做算法工程和研究的人,以后的路在哪?重点是不是都得转向业务理解了?那些细分方向的论文解读,还有必要继续写吗?
小喵是前几周才开始试用的,算是赶热度比较晚的了。试用后确实惊叹于它的能力,但很快也发现,ChatGPT并非无所不能——很多NLP任务,它目前做得并不好。当然,它每天都在拿用户数据学习更新,肯定会越来越强。但从另一个角度看,学习更重要的是学习别人提出问题、解决问题的思路。基于这个出发点,小喵决定后续还是会继续分享NLP细分方向的文章。
1. 文本分段
之前公众号正在介绍文本分段(文本分割)任务,这次也顺便测了测ChatGPT在这方面的表现:

显然,ChatGPT没有正确理解意图。这类模型对指令很敏感,指令的表述直接影响结果。那换个说法试试:

还是不行。再具体一点:

这次稍微好点,但离用户意图仍有距离。也就是说,在文本分割上,ChatGPT的效果还有提升空间。当然,多给些范例帮助它理解“分段”指令的含义,结果可能会好一些。
2. 实体识别
在基础的实体识别任务上,同样存在意图理解问题,提取结果的精度也有待提升:


3. 热点话题

ChatGPT的训练数据截止于2021年,这意味着它学到的知识都来自那之前的语料。想靠它回答当下的热点事件,显然不太现实。

4. 文本生成之写新闻

文本生成方面,ChatGPT可能输出偏离事实的内容。比如这里给的“威斯布鲁克”,指的是从湖人队交易到爵士队的“威少”。

即使把“威斯布鲁克”改成“威少”,ChatGPT依然生成了不存在的“雪人队”。要知道2021年威少在奇才队,不是什么雪人队或雄鹿队。这说明,即便是2021年的知识,它也不一定完全掌握。这背后的原因,可能是虽然基于人工反馈的强化学习优化了模型,力求生成有用、无害且真实的文本,但人力反馈终究有限,网络数据中的噪声仍然可能误导模型。
总结
首先,即使是最先进的NLP模型,比如ChatGPT,也不能覆盖所有NLP任务。这个领域非常广阔,很多任务仍需要专门解决,研究细分方向依然必要。
此外,学习最重要的是吸收别人提出问题、解决问题的思想。基于以上两点,小喵决定继续分享NLP细分方向的文章。

最后,技术的发展不应被视为竞争,而是一种合作。无论中国还是美国,都应围绕“共同推动NLP技术进步”这一核心,互相学习、共同进步。

