美团开源LongCat-AudioDiT 首创波形建模刷新音色克隆SOTA
音频生成迈入端到端时代：美团开源LongCat-AudioDiT，刷新音色克隆SOTA
2026年4月2日，美团旗下的LongCat团队做了一件让行业瞩目的事：他们正式发布并开源了全新的端到端音频生成模型——LongCat-AudioDiT，直接提供了1B和3.5B两个参数版本供选用。这次发布，可不是简单的参数堆叠，而是一次架构上的“破与立”。这个模型最大的亮点，在于它彻底抛弃了传统TTS系统依赖的梅尔频谱中间表征，首创了直接在波形潜空间建模的架构。它搭载的全卷积Wa v-VAE，能把24kHz的高清波形压缩整整2000倍，帧率低至11.7Hz，从而大幅削减了信息在传递过程中的损耗与误差积累。正是这套底层革新，让它成功刷新了零样本音色克隆的性能纪录，拿下了当前的SOTA。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
话说回来，最近这两年，音频生成技术正处在一个关键的转折点上：行业共识是，从多阶段的级联架构全面转向端到端架构，已经是大势所趋。传统TTS那套沿用多年的“先预测声学特征，再用神经声码器合成”的流水线，虽然经典，但如今已然成了音色还原度和生成效率进一步提升的核心瓶颈。
问题出在哪里？传统方案普遍依赖梅尔频谱这个“中间商”。流程上需要先把文本转成梅尔频谱，再把这个频谱转成最终音频。这个过程中，前后两个步骤产生的误差会层层叠加、不断放大。尤其是在对精度要求极高的零样本音色克隆场景下，传统方法就更容易露怯了——音色走样、咬字含混、情感干瘪，这些毛病屡见不鲜。即便投入大量精力反复调优，性能天花板也清晰可见，根本无法满足虚拟人、智能客服等新兴应用对音色保真度近乎苛刻的要求。
那么，LongCat-AudioDiT是如何破局的呢？答案很简单，却又很彻底：它完全绕开了梅尔频谱这个中间环节。整个模型由Wa v-VAE和DiT两大核心组件构成，架构极为简洁，实现了真正的端到端。它直接在波形潜空间里完成所有建模工作，这相当于重构了音频生成的底层逻辑。
具体来看，其中那个高效的Wa v-VAE采用了全卷积设计，为实现2000倍的极高压缩比立下了汗马功劳。更巧妙的是，它通过引入非参数化的捷径分支并结合多目标对抗训练，确保了重建后的波形质量。这意味着，压缩后的表征既精准保留了原始的时频结构，又能让最终生成的音频拥有接近真人发音的自然听感。从公开的测试数据来看，该模型在零样本音色相似度和自然度这两项核心指标上，均已超越现有同类模型，取得了当前行业的最佳成绩。目前开源的1B和3.5B两个版本，也经过了精心设计，可以分别适配端侧轻量化部署和云端高精度生成等不同的实际场景需求。
将视线拉回美团自身的业务生态，这项技术带来的价值是立竿见影的。更高精度的零样本音色克隆能力，意味着可以快速为骑手智能助手、商家客服系统、配送节点语音播报等众多场景，批量定制出各具特色的专属音色。这不仅能大幅降低语音交互功能的开发与定制成本，更能显著提升C端用户在每一次交互中的聆听体验。
当然，技术开源的意义远不止于此。当这项能力开放给业界，其影响力将迅速扩散至有声书制作、虚拟人语音驱动、智能硬件语音助手等多个领域。它极大地降低了中小型团队研发高性能音频生成模型的门槛，有望从整体上推动音频生成行业的技术性能向新的台阶迈进。
热门专题
热门推荐
腾讯生态整合新动向：QQ全面接入微信小程序 7月1日，腾讯QQ小程序开发者平台发布了一项重要更新。核心内容是，为了帮助开发者降低双端开发与维护成本，QQ将全面接入微信小程序体系。这意味着，未来用户可以直接在QQ内搜索并打开微信小程序。 对于现有的存量QQ小程序，此次调整并未“一刀切”。它们目前仍可正
下半年芯片市场巅峰对决提前揭幕 今年下半年，全球芯片市场的战火将空前炽热。两位重量级选手——联发科与高通，已经准备好亮出各自的王牌。天玑9600系列与骁龙8E6系列，这两大迭代旗舰平台的正面交锋，注定会成为今年科技行业最值得关注的戏码。 双芯策略：精准卡位旗舰市场 有意思的是，联发科这次玩了个新花样
在当今数字化社交的时代，微信已成为人们日常沟通交流的重要工具。不少人都发现，微信好友申请居然可以通过搜索 qq 号来添加，这背后有着诸多有趣的原因和便利之处。 一、社交关系的延续与拓展 要知道，微信与QQ同属腾讯旗下，两者之间存在着千丝万缕的联系。很多用户的社交关系其实根植于QQ时代，那些好友列表里
高德地图如何更改定位？三种方法详解及注意事项 无论是日常通勤、外出旅行还是朋友相聚，高德地图已经成了我们依赖的“导航神器”，精准定位和路线规划是其核心功能。不过，现实场景有时会有点特殊——比如，你可能需要模拟一个位置来测试应用，或者在某个游戏中“签到”，又或者只是想和朋友开个无伤大雅的玩笑。这个时候
巧学宝App绑定手机号全程指南 在巧学宝App上完成手机号绑定，是解锁其完整功能的关键一步。这个看似简单的操作，能为你后续的学习之旅带来不少实实在在的便利。那么，该如何快速搞定呢？下面这张流程图，能帮你一眼看清完整的操作路径。 第一步：进入个人中心 首先，打开你的巧学宝App。进入主界面后，注意力可