TLDR

• 大概有人想看LLM与RL结合的Agent研究报告，但实际内容却是一份独立的LLM Agent报告、一份独立的RL报告，外加一位RL研究者对当前LLM Agent领域研究的犀利吐槽。

  

• Agent分会场的整体观感在所有分会场中最差，民科气息也最为浓厚。其他分会场通常会略过的不重要细节，在这里却被大篇幅反复讨论，整体感觉就像本科毕业设计答辩的加长版。

• 推荐分级：没有必要观看；如果你实在闲得无事，想看看也无妨。

• 本文没有任何干货，纯属吐槽。

论坛接近尾声时，一位从事RL研究的讲者对当前LLM Agent研究现状的吐槽值得一看：

https://www.bilibili.com/video/BV1JZ421M7RD/

吐槽正篇

1、总体感觉

这次完整观看了智源大会的五个分论坛以及一个线上报告，包括全体大会、大语言模型、大模型产业技术、意识与通用人工智能，以及Agent。一圈看下来，Agent分会场的体验是最糟糕的。

大部分工作的深度和工作量，说高也行，说低也可以——你甚至会觉得这些成果和清华本科生的毕业设计差不多。这导致与其他分论坛相比，Agent分论坛的整体水准明显偏低，民科味道浓重，说它拉低了智源大会的整体质量也毫不为过。意识与通用人工智能那边虽然讲得也不算深，但人家是有实际内容的，只是受限于时间无法深入展开，听众权当科普。而Agent分会场则完全相反——既不深入，也不高端，还喜欢絮絮叨叨地纠缠细节，而且全都是完全不重要的细枝末节。

每个报告人加上答疑时间给1小时实在太长了。就这种内容量，其他分会场给30分钟都绰绰有余。

原本期待通过智源这个窗口，能看到一些最前沿的LLM+RL可自我提升的Agent方案，但整场报告要么是纯LLM Agent的报告，要么是纯RL控制机器人的报告，完全没有交叉融合的部分。更搞笑的是，末尾的RL报告人还站在他自己的角度狠狠吐槽了一番当前LLM Agent研究的“低劣”，真是神来之笔。这个片段见：

https://www.bilibili.com/video/BV1JZ421M7RD/

前三位讲LLM Agent的报告人，只有一位拥有教职（助理教授），剩下两位分别是博后和在读博士。这让人非常无语。是有教职的人不做这个方向？还是他们不愿意来？又或者是他们也没什么可讲的？

最后一位做RL的人，大部分报告都在讲纯RL控制机器人，后面有一小部分是将LLM作为语义理解模块用于RL Agent，最后是对LLM Agent研究的吐槽。全程看下来，让人忍不住怀疑：这位到底是来干什么的？

2、观后反思

就连智源大会也只能邀请到这种水平的内容，说明大家真的不要期待能结合RL的能力较强的Agent能在短期内落地——学术界都还没做出来呢。

而且从整个会场弥漫的民科气息来看，有追求的人最好别说自己做的事能算Agent，“你才做Agent，你们全家都做Agent”。当然这话说得有点过分，这些报告放在其他场合至少也算中等以上水平，但放在智源这个大平台上，一下子就显得让人无语。

3、报告1的吐槽

第一个报告是ChatDev的作者。考虑到ChatDev的影响力较大，以及和会场主持人刘知远的关系，这也算正常。ChatDev作者列表里就有刘知远（参见 https://arxiv.org/abs/2307.07924）。不过奇怪的是，既然有关系，怎么没顺带帮面壁做点宣传？其他会场可都在大大方方地给自家公司做PR。

ChatDev推出这么久了，到现在也没听说“能自己开个公司，全靠ChatDev低成本写代码，大幅压低2B软件服务报价”。当然，AutoGPT和BabyAGI也不行，作为学术原型无法落地才是常态。现在就别再吹ChatDev了，把它当成靶子，说正在努力研究更好的方案，说不定还能给人更多好感。

Co-Learning这个思路有点新意，但其实想法在应用层的人里早都想过了。仍然不看好落地，还是学术占坑的demo。

从开始提Multi Agent的scaling law起，就让人感觉民科味道开始变浓了。更可笑的是拿出来的是S曲线——大部分领域不都是S曲线么？这无论从理论价值还是实用价值，能蹭上scaling law的边吗？拿S曲线去拟合，数值稳定性和预测准确率又能好到哪去？

4、报告2的吐槽

如果说报告1还是在学界王婆卖瓜的常见模式，报告2就开始放飞自我了——因为它讲的是一套LLM Agent OS。

然后后面一大段内容跑去说Agent OS可以像“现在操作系统一样去管进程的调度”一样去管Agent的调度。满眼都是工程上的feature，而且大多是对标传统OS。这事真的需要一个全新的Agent OS来做吗？传统OS做不好吗？

整个思路也不能说毫无创新，但主体跑去完全对标传统OS，基本抹杀了细节上的价值。很符合去年一些投资人视角的思路，大概挺适合搞经费的。从实际角度来说，这个东西是绝对不会去考虑的。

5、报告3的吐槽

报告3是CAMEL的作者，一位在读博士。CAMEL的主要学术价值在于提出得早，但现在它已经完成了自己的历史使命。

报告整体感觉跟ChatDev那个类似，前面还塞了一大块历史回顾来凑时间，也同样提到了Multi Agent的scaling law。对了，报告主题还叫“Finding the scaling law of agents”。要不是CAMEL这种有点名气的项目的作者，都以为自己打开了某个论文预讲会的视频，甚至报告的内容可能还不如论文预讲会的观感。

6、报告4

报告4是个做传统RL的人。内容倒是没啥可吐槽的，无论是内容还是PPT的信息量都能回归正常水准。

但会让人第一反应是：为啥这个主题会出现在这个论坛上？然后才会意识到，原来Agent本来是从RL借过来的词，RL才是更正统的，虽然现在已经没人关心这个了。（机器人公司：你说啥？）

那么，正经做RL的人能给出一个LLM和RL的有机结合方案吗？不能，仍然只能把LLM作为语义理解组件加入到机器人Agent中。（机器人公司：这就够了吧）大家期望的那种靠RL来优化LLM Agent的方案，仍然没有，死心吧。

颇为搞笑的是，这个报告的末尾，主讲人也吐槽了一番目前LLM Agent研究的烂现状。虽然很认同这段话，但感觉就是来砸场子的，特别是碰巧还放在了整个分会场的末尾。

A、结语

很不喜欢用Agent这个词，因为它的概念已经完全混淆了，而且“在沟通中使用Agent这个词”和“这个人对LLM应用认知的专业度”已经呈负相关。但从写文章，特别是拟标题的角度，又不得不用，否则大家更get不到意思。去年年中用“基于LLM的程序”这样的词，结果发现大家根本不知道在说什么。

所以在沟通时，请直接谈要讨论的具体问题或者领域。“你才做AI Agent，你们全家都做AI Agent。”