OpenAI实时API公开测试版发布，RTC技术成实时多模态AI关键桥梁
10月2日，OpenAI正式发布了实时API公开测试版，用于构建基于GPT-4o的语音到语音AI应用和智能体。这一动作，是GPT-4o发布后，OpenAI在实时语音交互能力上的又一关键进展。
GPT-4o此前展现出的实时语音交互能力让外界印象深刻，核心在于其大幅降低的语音延迟——平均仅320毫秒的反应时间，让AI与人类的对话首次接近真人之间的对话速率。同时，其语气和情感模拟能力，也加深了AI与人类沟通的沉浸感。而这次发布的实时API，目标正是将GPT-4o的语音到语音能力开放给开发者，推动基于声音的实时对话式AI场景走向主流。
OpenAI同时公布了三家语音API合作伙伴：LiveKit、Twilio和Agora。值得一提的是，前几年爆火的ClubHouse，背后的技术提供方正是Agora，其兄弟公司声网在国内则更为人所知。Agora聚焦美国和国际市场，声网已是中国RTC（实时音视频）领域最头部且最主要的提供者。当前，实时对话式AI浪潮还在酝酿中，而发展多年的RTC技术作为一项基础能力，正逐渐被推向实时多模态大模型发展浪潮的核心位置。
RTC：实时多模态大模型的必由之路
毫无疑问，大模型能力的提升直接促进了端到端实时多模态大模型的崛起。此前，实时对话中的语音处理采用传统三步骤——语音识别、语音转文字、文字转语音（STT-LLM-TTS）。而现在，得益于大模型自身能力进化，端到端实时多模态模型能够直接处理语音，响应速度大幅提升，这也是实时对话式AI前景备受期待的根本原因。
语音处理这一技术难题攻下后，头部玩家已经开始用脚投票。今年6月，Character AI推出新语音功能，用户可与AI角色进行语音对话。该公司表示，新通话功能在推出初期就吸引了300多万用户的2000多万次通话。几天后，微软AI负责人Mustafa Suleyman透露，微软将在年底推出实时的语音界面，允许完全动态的交互。在国内，智谱AI在8月末于智谱清言中上线了国内首个面向C端的视频通话功能，支持语音和视频互动，可应用于学习、辨识物品等场景。同日，科大讯飞星火极速超拟人交互功能正式上线，在响应速度、情绪感知、语音可控表达和人设扮演方面实现突破，让交互更自然、更具情感。电影《Her》中的场景，似乎正一步步成真。
GPT-4o进一步打开了实时对话式AI的想象力，但更重要的是，它提醒我们或许仍低估了“实时”在交互体验中的分量。在实时对话式AI中，“实时”与“AI”同样重要，甚至从对话体验的角度看，“实时”实际上是更决定性的变量。要把“实时”拉到极限，端到端实时多模态模型的崛起只是一条明线——它从思考速度上缩短了交互时间。而另一条更绵长的发展暗线，则是RTC技术的持续进步。
详细拆解多模态大模型中实时语音交互的核心路径，可以清晰看到RTC的意义：语音输入经过RTC传输到服务器，服务器端的多模态大模型接收后进行预处理（含音频3A：降噪、增益控制、回声消除等），使后续语音识别更准确；然后，预处理的语音数据送入模型进行识别和理解，系统生成回应并通过语音合成技术转换为语音信号；最后，语音数据通过RTC传输回用户端，完成一次完整交互。
声网在实践中发现，传统AI语音对话（STT-LLM-TTS）在应用RTC后，响应延时从4-5秒降低到1-2秒；而在具备端到端实时多模态处理能力后，通过RTC技术，大模型实时语音对话的延时可降到几百毫秒内。从体验上看，RTC的应用让对话式大模型交互更智能，更具真实感。
GPT-4o的发布会上有一个细节：用于演示的手机连接了一根网线。工程师Mark解释，这是为了确保网络稳定性。这也揭示了一个事实：GPT-4o的演示是在固定设备、固定网络和固定物理环境中进行的，以保证低延迟。而实际应用中，用户设备通常不能始终连网线，无论多强的模型能力，最终都需要依靠RTC技术才能真正落到实时对话场景。多模态大模型与RTC结合时，如何保障低延时、流畅的语音交互体验，变得尤为关键。一句话：RTC是将多模态大模型与实时互动场景连接起来的最关键技术桥梁。
随着RTC从前沿技术逐渐演变为基础设施，并延伸至各个场景，加入了场景视角的RTE（实时互动）概念开始取代RTC，成为谈论实时互动能力的新技术名词。声网创始人兼CEO赵斌对RTE的定义是：“RTC（实时音视频）从Communication的视角，更多强调对语义信息进行高质量和高效率的传递。而RTE（实时互动）更聚焦用户所需要的共享时空，即俗话所说的场景。”从RTC到RTE，是从基础能力向场景化能力的进化。
在这个端到端实时多模态模型产品化势头初现的时期，声网和RTE开发者社区联合发起了第十届RTE大会。实时互动与AI结合所能承载的所有想象力，都将在这场大会中呈现。
AI浓度拉满：第十届RTE大会亮点前瞻
首先，这场RTE大会将有非常多有分量的观点交锋。国内大模型领域在ToB方向走得很深的智谱AI，以及在C端产品化上最有心得的MiniMax，都会出现在RTE大会上。作为随大模型迅速成长的创业公司，智谱和MiniMax在RTE技术于大模型的ToB和ToC两条路线上发展颇有心得。随着大模型开源生态迅速发展，大量个人开发者已加入这股浪潮，实时对话式AI成为备受关注的产品赛道，通义千问也将带着国内最大开发者生态的经验加入讨论。
此外，此次RTE大会不乏业内最受瞩目的创业者身影。全球知名AI科学家之一、一年前从阿里巴巴离职躬身入局大模型的贾扬清，也将出现在主论坛，分享他在AI基础设施领域创业18个月后的经验心得，以及对RTE与AI结合未来趋势的判断。
本次RTE大会还设置了七场行业分论坛，展现一幅最具想象力的AIGC+RTE行业场景应用图景，覆盖AI+IoT、教育、泛娱乐、出海、数字化转型等七大行业。50+行业大咖将现身分论坛，带来一线场景实战案例和深度洞察。场景是技术迭代结出的果实，对未来新场景的想象力也源于当下技术前沿趋势。因此，本次大会还设置了五场技术专场，分别聚焦音频技术和Voice AI、视频技术和AI生成、RTC+大模型、空间计算和新硬件、云架构和AI时代的Infra，30+技术大咖和专家学者将带来深入技术见地。
对于参与RTE大会的开发者，这里不仅提供观点和见地。每年RTE大会都设有专属活动，今年的Workshop提供了用TEN开源框架现场动手搭建拥有音视频理解能力的AI Agent的机会，为开发者带来AI实时互动场景创新灵感。
2024年，实时对话式AI火热，RTE大会也迎来十周年。时间回到十年前，2015年移动互联网在国内尚未完全成熟，RTE大会在十年里见证了直播、在线教育、远程办公等技术场景以新物种面貌亮相并最终融入大众生活。实时互动技术逐渐成为社交和泛娱乐产品的基础设施。随着实时互动行业发展，走过十年的RTE大会已变得愈发重要，成为该领域全球范围内规模最大、议题最全、最具影响力的行业大会。
现在，AI与实时互动的碰撞正涌现出新的技术和产品浪潮。无论从前沿技术探讨深度，还是多场景创新应用的丰富性，今年的第十届RTE大会都像一场“风口浪尖”上的实时互动领域盛会。这场大会将展现这场变革至今最锐利、最先锋的一面。已经身处变革中的开发者，或对实时互动即将出现的碘伏性变化感到兴奋的所有人，请及时到场。