提到AI音乐生成，很多人第一反应是“这玩意儿真的靠谱吗？”但Riffusion的出现，可能会彻底颠覆你的认知。它是一款免费开源的实时音乐与音频生成库，核心玩法非常简单：只需输入一段音乐描述，AI就能直接生成对应风格的音乐，从古典到电子，从爵士到民谣，几乎覆盖所有主流曲风。该项目由Seth Forsgren和Hayk Martiros联合推出，其背后的技术原理十分有趣——它借助了Stable Diffusion（文本生成图像模型），但并非用于画图，而是用来微调频谱图。频谱图本质上就是声音的“视觉快照”，展示了不同频率随时间变化的振幅，随后再将高保真的频谱图图像转换回音频。换句话说，你看到的是一幅图，听到的却是一首歌。
Riffusion核心功能详解
- 基于文本提示生成音乐图像：用户只需写一段描述，例如“缓慢的钢琴旋律，带一丝忧伤感”，Riffusion就能自动生成对应的频谱图图像，进而转化为完整音乐。
- 实时音乐生成：速度是Riffusion的一大亮点，几乎无需等待即可听到AI“即时创作”的曲子，非常适合即兴创作或灵感捕捉场景。
- 独特的音乐创作方式：将声音转化为图像，再用图像生成声音，这种“声画互转”的创意路径，为音乐创作打开了一扇全新的大门。
官方访问地址为 https://www.riffusion.com，感兴趣的话可以直接上手体验。