希腊神话中的乐之神Orpheus，如今在AI世界里有了新的化身——这一次，他不是用七弦琴打动冥界，而是让机器真正拥有了人类的情感。单卡就能跑、流式推理、延迟低到毫秒级，效果甚至超越了现有顶尖闭源方案。这已经不是“语音合成”小修小补的进步，而是LLM在语音领域一次真正意义上的能力涌现。
当LLM学会“共情”：Orpheus开源语音模型的关键突破
大语言模型（LLM）还能涌现出什么能力？这次开源模型Orpheus给出的答案是：情感。
Canopy Labs的开源开发者Elias直言，Orpheus就像人类一样，具备了共情能力。它能够从文本中读到潜在的情绪线索，然后在语音中自然地融入叹息、欢笑、甚至嗤笑——这些细节，过去只有人类配音演员才能做到。
作为开源的文本转语音（TTS）模型，Orpheus在多项评测中超越了包括ElevenLabs和OpenAI在内的所有开源及闭源模型。长期以来，开源TTS模型一直难以与顶尖闭源方案正面对抗，但从Orpheus开始，局面正在被改写。
Orpheus证明了LLM在语音合成领域的涌现能力。它不只是“读”文字，更像是“理解”文字——从字里行间捕捉情绪的信号，然后通过叹息、笑声、轻笑等细微音调，表达出近乎人类的情智。这是一次真正意义上的碘伏。
四大核心特点，直击TTS行业痛点
这次开源的Orpheus有四个关键特性，每一个都切中了当前TTS产品的要害：
- 拟人化语音：语调、情感和节奏都非常自然，效果甚至优于当前最先进的闭源模型。
- 零样本语音克隆：不需要额外微调，直接就能克隆声音，门槛大幅降低。
- 可控情感与语调：用简单的标签就能调整语音的情感和语气特征，灵活性非常高。
- 低延迟：流式推理延迟大约200毫秒，如果再配合输入流式处理，可以压到100毫秒以内，完全适用于实时对话场景。
流式推理意味着音频在生成过程中就开始逐步输出了，不需要等整段内容生成完毕。在A100 40GB显卡上，30亿参数模型的流式推理速度，甚至比音频播放速度还要快。这才是实时应用真正的底气。
模型家族：从30亿到1.5亿参数的完整覆盖
Orpheus是一个完整的模型系列，基于Llama架构，目前提供了四个规模版本：
- Medium – 30亿参数
- Small – 10亿参数
- Tiny – 4亿参数
- Nano – 1.5亿参数
开发团队表示，未来几天内还会发布更小规模的版本。值得关注的是，即使是在极小的模型规模下，依然能实现相当高质量、富有美感的语音生成。这一点对于移动端和边缘设备的部署非常关键。
其中，微调模型主要针对对话场景进行了优化；而预训练模型则更加灵活，可以用于语音克隆、语音分类等各种下游任务。
模型架构与设计：LLM+TTS的巧妙融合
预训练模型采用Llama-3B作为基础架构，并在超过10万小时的英语语音数据和数十亿个文本token上进行了训练。
通过训练文本token，模型在TTS任务上的表现得到了显著提升——说白了，它不再只是一个“声音生成器”，而是具备了对语言本身的理解能力。由于采用了LLM架构，模型在高精度、强表现力和高度可定制性这几个维度上都表现不俗。
在实时语音输出方面，Orpheus支持流式推理，延迟可以低至约200毫秒，适合对话类应用。如果对延迟有更极致的需求，还可以把文本流式输入到模型的KV缓存中，这样延迟甚至可以降低到约25-50毫秒。
在实时语音的设计上，Orpheus采用了两种有别于传统的方法：基于CNN的tokenizer，以及使用Snac采样不同频率的token并将其展平。
具体来说，每一帧会生成7个token，并作为单个展平序列解码，而不是用7个LM头分别解码。这样做的结果是模型需要生成的步数增加了，但在A100或H100 GPU上，使用vLLM实现后，token生成速度仍然快于实时播放。也就是说，即便是较长的语音序列，也能保持实时生成。
Orpheus采用了非流式（基于CNN）的tokenizer。值得注意的一点是，其他使用SNAC作为解码器的语音LLM，在去token化时容易出现帧之间的“弹跳”（popping）现象。Orpheus通过滑动窗口改进了去token化的实现，既支持流式推理，又彻底消除了popping问题。
使用教程：三款模型与快速上手
本次发布包含三款模型，同时提供了数据处理脚本和示例数据集，方便用户进行自定义微调。目前主要可用的两款模型如下：
- Finetuned Prod：针对日常TTS应用微调的高质量模型，开箱即用，适合绝大多数常规场景。
- Pretrained：预训练基础模型，基于10万+小时的英语语音数据训练，默认是条件生成模式，可扩展至更多任务。
流式推理快速指南
第一步，克隆代码仓库：
git clone https://github.com/canopyai/Orpheus-TTS.git
第二步，安装依赖：
cd Orpheus-TTS && pip install orpheus-speech pip install vllm==0.7.3
第三步，运行流式推理示例：
from orpheus_tts import OrpheusModel
import wa ve
import time
model = OrpheusModel(model_name="canopylabs/orpheus-tts-0.1-finetune-prod")
prompt = '''Man, the way social media has, um, completely changed how we interact is just wild, right? Like, we're all connected 24/7 but somehow people feel more alone than ever. And don't even get me started on how it's messing with kids' self-esteem and mental health and whatnot.'''
start_time = time.monotonic()
syn_tokens = model.generate_speech(
prompt=prompt,
voice="tara",
)
with wa ve.open("output.wa v", "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2)
wf.setframerate(24000)
total_frames = 0
chunk_counter = 0
for audio_chunk in syn_tokens: # output streaming
chunk_counter += 1
frame_count = len(audio_chunk) // (wf.getsampwidth() * wf.getnchannels())
total_frames += frame_count
wf.writeframes(audio_chunk)
duration = total_frames / wf.getframerate()
end_time = time.monotonic()
print(f"It took {end_time - start_time} seconds to generate {duration:.2f} seconds of audio")
提示格式说明
1. 微调模型
主要文本提示格式为：
{name}: I went to the ...
可选姓名（按对话自然度排序）：「tara」, 「leah」, 「jess」, 「leo」, 「dan」, 「mia」, 「zac」, 「zoe」。
可添加情感标签，包括：
Python包orpheus-speech和Notebook会自动格式化提示，无需手动调整。
2. 预训练模型
适用于仅基于文本生成语音，或基于一个或多个已有的文本-语音对生成语音。关于零样本语音克隆需要注意：该模型未经过专门的克隆训练，因此输入的文本-语音对越多，生成目标声音的效果就越稳定。
以下参数调整适用于所有模型：常规LLM生成参数（如temperature、top_p）都支持；设置repetition_penalty >= 1.1可以提高稳定性；提高repetition_penalty和temperature会让语速变快。
模型微调：从数据到训练的全流程
对模型进行微调的流程非常简单，本质上和使用Trainer与Transformers微调标准LLM没什么区别。大约50个样本后就可以看到较高质量的结果，但想要达到最佳效果，建议每人准备300个样本。
第一步：数据集需要是Hugging Face数据集，格式如下：
第二步：使用Colab Notebook准备数据。这会将一个中间数据集推送到Hugging Face，然后可以输入到finetune/train.py中的训练脚本里。预处理速度很快，估计每千行数据花费不到1分钟的时间。
第三步：修改finetune/config.yaml文件，配置新的数据集和训练属性，然后运行训练脚本。也可以运行任何与Hugging Face兼容的流程，比如Lora，来进一步微调模型。
pip install transformers datasets wandb trl flash_attn torch huggingface-cli loginwandb login accelerate launch train.py
这只是Canopy Labs打造的众多技术之一。他们的愿景很清晰：未来的每一个AI应用，都将化身为可以与人互动的“数字人”。而从Orpheus的表现来看，这一天或许比我们想象中来得更快。