人形机器人实现多语言逼真唇形动作合成
来源：科技日报
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
美国哥伦比亚大学的科研团队成功设计出一套创新的技术框架，使仿人机器人的面部能够根据音频信号生成逼真的唇部动作，从而实现与人类语音的精准同步。这项技术还展现出较强的泛化能力，能够推广至包括法语、汉语和阿拉伯语在内的多种语言，即便这些语言并未出现在训练数据中。研究团队在最新一期《科学·机器人学》上发表论文指出，这一进展标志着机器人不仅能够执行功能任务，更向着能够进行拟人化交流的目标迈出了重要一步。
日常对话中，如果机器人的唇部动作与其发出的声音不匹配，会显得呆板且不自然。然而，现有机器人普遍缺乏执行精细口部动作的灵活性，能够实时将语音转化为自然唇部运动指令的技术更是寥寥无几。
该研究团队在2024年发表的研究中，曾描述了一种仿人机器人面部能够预测人类的微笑并同时复现该表情的方法。在此基础上，为了更精细化地匹配唇部与声音，团队精心设计了一套学习流程：首先采集机器人唇部运动的视觉数据，用于训练模型并生成运动参考点；随后通过一个名为“面部动作转换器”的模块生成运动指令，使得机器人的唇部能够流畅配合不同词语的发音。他们还专门研制了一种仿人机器人面部结构，采用柔软的硅胶皮肤，配合磁性连接器，具备10个自由度，可驱动复杂的唇部运动。其唇部结构能形成覆盖24个辅音和16个元音的各种口型。
在验证过程中，团队借助ChatGPT生成测试语句，并合成了具有理想唇部动作的视频作为对比基准。结果表明，该方法在5种比较方案中表现最优，其生成的唇部动作与理想视频差异最小。此外，该框架还能为11种不同语音结构的非英语语言生成自然的唇部同步效果。
研究团队推测，这类仿人机器人在教育、老年护理等领域具有应用潜力。但团队也强调，未来的设计工作需要格外谨慎，以防技术被滥用。（科技日报记者 张梦然）
总编辑圈点
如今，AI让虚拟人物动嘴说话早已“不在话下”，然而让机器人做到这点还相当困难。大多数机器人“说话”时并不动嘴，即使动嘴，也只是象征性地一张一合。这次，科研人员试图让机器人拥有人类一般细腻、精准的唇部动作，教它们通过合成视频以“照镜子”的方式学习；还开发了硅胶皮肤，设计了面部机械系统。结果表明，机器人可以“学会”多种语言的唇部动作。不过，研究也不禁让人思考，当机器人真的开口说话，“恐怖谷效应”是会加重还是会减轻？
热门专题
热门推荐
财务智能化浪潮正深刻重塑行业格局，这既是严峻挑战，更是历史性机遇。对于广大财务从业者而言，固步自封意味着职业风险，主动转型才是破局关键。那么，财务人员如何应对智能化转型？核心在于积极拥抱变化，将人工智能、大数据等前沿技术内化为自身的核心竞争力。 一、持续学习，实现技能进阶 在智能化时代，学习已成为财
在探讨人工智能的最新进展时，语言大模型已成为一个无法回避的核心议题。它早已超越了实验室研究的范畴，正作为构建新一代AI智能体的关键平台，深刻改变着我们与机器交互、协作乃至共同进化的模式。 那么，语言大模型为何能成为AI发展的基石？其核心优势在于强大的理解与生成能力。通过对海量文本数据的深度学习与算法
人工智能的浪潮正席卷而来，其中，大语言模型无疑是浪尖上最耀眼的明珠。它们动辄千亿参数的庞大体量，以及背后精妙的深度学习架构，让机器理解并生乘人类语言的能力达到了前所未有的高度。不过，一个现实问题也随之浮现：这些“通才”型巨无霸，如何能精准地服务于千差万别的具体场景？答案的关键，就在于“微调”这项技术
在数字化浪潮席卷全球的今天，一项融合前沿AI与3D技术的创新解决方案正引领人机交互的新趋势。实在智能重磅推出的全栈AI虚拟人解决方案，深度融合了自然语言处理与3D数字化定制技术，旨在为用户打造前所未有的沉浸式交互体验。这不仅是一次技术升级，更是智能科技迈向人性化、情感化的重要里程碑。 那么，这套AI
在当今企业数字化转型的进程中，流程挖掘技术已成为提升运营效率与管理水平的关键工具。它如同一位专业的“企业流程医生”，能够基于真实数据为企业进行精准诊断并提供优化“处方”。 那么，什么是流程挖掘？简单来说，它是一种从企业信息系统（如ERP、CRM）的事件日志中自动发现、监控和改进实际业务流程的技术。它