游乐游手机版
首页/AI教程/文章详情

StepFun开源全球首个音频编辑模型 用文字控制声音情绪

时间:2026-06-24 11:46
StepFun开源Step-Audio-EditX模型,号称全球首个音频编辑模型,支持通过文字指令控制声音情感、风格及呼吸、笑声等副语言元素。该模型采用3B参数统一架构,实现中英文及方言零样本语音合成,在情感控制上优于现有方案,单张12GB显存GPU即可运行。

音频编辑领域长期被认为是技术门槛较高的任务。专业工具的学习曲线往往非常陡峭,繁杂的参数设置常令人望而却步,普通用户要制作出高质量的音频内容,面临着不小的挑战。

近期,StepFun AI 开源了一款名为 Step-Audio-EditX 的模型,被其称为“全球首个”专注于音频编辑的模型。其核心理念十分直观:通过文字指令操控音频内容。想要AI说话时带有特定情绪?只需输入相应的提示词。想要加入呼吸声或笑声?同样通过文字指令即可完成。用户无需再与复杂的波形图、频率曲线和无数旋钮参数打交道,人机沟通的效率得到了显著提升。

\

具体具备哪些能力?情感控制方面,支持愤怒、开心、悲伤、兴奋等十余种情绪状态;说话风格则可调整为撒娇、老人、小孩、耳语等多种模式。副语言元素的控制更加精细化——呼吸声、笑声、叹气、疑问语气等共计10种类型均可精准操控。如果需要四川话或粤语方言,只需在文本前添加相应标签即可。

从技术层面来看,该模型采用了3B参数的统一架构,支持中英文及多种方言的零样本语音合成。所谓零样本,即无需预先录制特定人的声音样本,模型能够直接根据文字内容生成或编辑语音。模型采用Apache 2.0开源协议,单张GPU即可运行,12GB显存即可满足基本需求。

技术架构图Step-Audio-EditX技术架构图

模型的架构由三个主要模块组成:双码本音频分词器负责将音频转换为离散token,音频LLM则负责生成token序列,音频解码器最终将这些token还原为音频波形。整个训练流程采用了SFT(监督微调)和PPO(近端策略优化),并支持迭代式编辑——用户可以首先调整语调,随后补充呼吸声,若效果不满意还可回退重新修改。

从对比评测数据来看,在零样本语音克隆和情感控制方面,Step-Audio-EditX 的表现优于 MinV2-nd、Double TTS 2.0 等模型。尽管指标数据颇为亮眼,但真正的考验仍在于实际应用场景中的稳定性与最终效果。

部署过程也较为简便。环境要求Python 3.10及以上版本、PyTorch 2.4.1以及CUDA支持。官方提供了Docker镜像,同时附带Web演示界面和命令行工具。若显存资源紧张,还支持INT8和INT4量化,进一步降低了硬件门槛。

“vibe一切”的趋势正在各个领域蔓延。图像生成领域如此,视频生成领域如此,如今轮到了音频。传统的模块化流水线正被统一模型所替代,复杂的参数调节被自然语言指令所取代。技术门槛不断降低,而真正拉开差距的,只剩下“创意”这一核心要素。

来源:https://cloud.tencent.com.cn/developer/article/2695674
上一篇AgentFS:用SQLite实现智能体状态存储 下一篇Karpathy:AI非动物而是全新智能物种
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
Windows Docker Desktop RabbitMQ生产级部署完整指南
AI教程 · 2026-06-29

Windows Docker Desktop RabbitMQ生产级部署完整指南

前言 在 Windows 本地开发环境中,直接安装 RabbitMQ 确实颇为周折:需要单独配置 Erlang 运行环境、手动管理环境变量、服务启停全凭手工操作。更令人困扰的是,版本兼容冲突、端口占用、环境不一致等问题层出不穷。笔者见过不少开发者为搭建环境就得耗费整整半天时间。 相比之下,借助 Do

AI搜索重构制造业采购逻辑的阿里云企业级GEOCMS优化实践
AI教程 · 2026-06-29

AI搜索重构制造业采购逻辑的阿里云企业级GEOCMS优化实践

先分享一个切实感受。过去两年,我们与福建制造企业合作较为频繁,发现一个非常突出的现象:超过80%的企业官网,产品参数仍然存放在PDF或图片中。AI爬虫?根本无法抓取。这些企业技术实力不弱、资质证照齐全、应用案例也丰富,但在AI搜索这一全新战场上,它们几乎处于隐身状态。 一、一个正在发生的行业变化 A

阿里云Token Plan团队版功能价格与省钱购买指南
AI教程 · 2026-06-29

阿里云Token Plan团队版功能价格与省钱购买指南

阿里云百炼近期推出了名为“Token Plan 团队版”的全新服务,这一服务专为企业与开发者量身打造,定位为AI大模型订阅平台。通过引入Credits作为统一计量单位,将文本生成、图像生成等多模态AI能力纳入单一计费体系,同时无缝兼容主流AI编程工具及智能体(Agent)生态系统。其核心亮点包括:全

阿里云物联网.NET Core客户端位置信息上报
AI教程 · 2026-06-29

阿里云物联网.NET Core客户端位置信息上报

阿里云物联网平台的位置服务并非一个完全独立的功能模块。位置信息可包含二维坐标与三维坐标,而位置数据的来源本质上是借助设备属性进行上传。换言之,若要让设备上报位置,您需先将其视为一个普通属性进行处理。 1)添加二维位置数据 操作过程十分简洁。进入数据分析 → 空间数据可视化 → 二维数据,点击添加,将

年阿里云服务器选型配置与网站部署全攻略
AI教程 · 2026-06-29

年阿里云服务器选型配置与网站部署全攻略

2026年,阿里云服务器生态已高度成熟,形成了清晰的轻量应用服务器与ECS云服务器两大产品阵营。无论你是计划搭建个人博客、企业官网,还是运营电商平台、进行应用开发,基本都能找到理想的解决方案。本指南将从服务器选型、配置选择、部署流程到安全运维,系统梳理2026年最实用的操作要点,帮助你少走弯路,让网