先探讨一个核心问题：为什么语音大模型总是以“固定节奏”进行语音输出？
想象一下，当你与手机中的语音助手交流，或使用AI将文本转化为语音时，后台有一台机器正以恒定速率打节拍——就像节拍器一样，无论你是在表达“嗯……”还是阐述“量子纠缠”，它都用相同的节奏去切分和处理每一段声音信号。
当前的语音大模型普遍采用固定帧率来处理声音。所谓帧率，类比于电影每秒包含多少帧画面，语音帧率则是指每秒用多少个“声音片段”来表征一句话。常见的系统要么设定为25赫兹（每秒25帧），要么是12.5赫兹。这看似没有问题，但细想之下就会发现：当你在说“嗯……”或出现停顿时，系统依然以固定频率去处理那些几乎不含信息量的片段，这无疑浪费了计算资源。更棘手的是，固定帧率还剥夺了用户调节速度的权利——如果设备性能有限，或网络状况不佳，用户无法在响应速度与语音质量之间做出灵活权衡。
让我们把目光拉回到现实场景。香港中文大学（深圳）与字节跳动的研究团队针对这一问题，开发了一套名为FlexiSLM的系统——这是业界首个同时支持动态帧率与可控帧率的语音大模型，在语音感知和语音生成两端都实现了“按需调节速度”。
相关论文可访问：arXiv:2606.31247
你也可以直接前往GitHub开源代码库获取完整实现。
一、节拍器与即兴演奏家：固定帧率与动态帧率的本质差异
要理解这项研究究竟解决了什么问题，用乐队来类比最为直观。传统固定帧率语音模型就像一位永远以固定节奏敲击的鼓手。无论前方的吉他手弹奏得多慢或多快，鼓点始终如一。这种方式简单可靠，但存在资源浪费——当舞台上无人演奏时，鼓手仍在机械地打着节拍。
动态帧率则好比一位经验丰富的爵士乐鼓手，能够感知音乐节奏的起伏变化，在安静时轻轻扫弦，在激烈段落才全力敲击。这种“随内容调整节拍”的方式，正是FlexiSLM的核心设计理念。
这一理念的技术基础源自一个名为FlexiCodec的语音编码器。其核心思路非常直接：如果相邻两段声音内容高度相似，就将它们合并为一个更长的片段来处理，从而减少需要处理的帧数。判断是否合并的依据是余弦相似度——当相似度高于某个阈值时合并，相差较大时则保留独立处理。FlexiCodec在12.5赫兹的基础帧率下，通过这种合并机制，平均能够将实际处理帧率降至6.25赫兹，计算量减少了一半，同时仍能保持不错的语音质量。不过，这项技术此前仅在小规模的文字转语音系统中得到验证，从未应用于端到端的语音大模型。
FlexiSLM的工作，正是将这一机制融入更复杂、更实用的语音大模型体系之中。
二、FlexiSLM的结构：如同“思考者”与“说话者”协同工作
整体架构可以理解为一对默契搭档：一个负责“理解与思考”（Thinker），另一个负责“将想法转化为声音”（Talker）。
负责理解的一端称为音频编码器，采用了来自Qwen2.5-Omni的预训练模块，能够将原始声音信号转换成每秒25帧的连续特征序列。这25赫兹的信号随后进入关键组件——帧合并模块，该模块通过计算相邻帧的相似度来决定哪些帧可以合并，最终将输入压缩至不超过12.5赫兹的动态帧率序列，再送入核心的大模型主干进行思考与推理。
大语言模型主干（即“思考者”）的基础是Qwen2.5-7B-Instruct。有趣的是，FlexiSLM的思考者在处理语音时，并非在读取输入后就停止工作，而是贯穿从用户提问到助手回答的整个过程，始终保持“思考”状态——这与Qwen2.5-Omni在文字生成结束后便停止思考的方式有所不同。
负责输出语音的“说话者”是一个专门的Transformer模块，它接收思考者的最后一层隐藏状态、目标帧率信号以及之前生成的语音令牌，然后输出两条并行的数据流：一条是FlexiCodec的语义令牌，另一条是每个令牌对应的帧长度属性。这两条数据流相互配合，共同支持动态帧率的语音输出。
为了防止“说话者”抢在“大脑”之前说话——即语音输出跑到对应文字内容之前——系统设计了一个5帧的延迟机制，让语音流略微落后于文字流，确保时间上的正确对应。帧长度令牌还会再额外延迟一步，让模型先确定该位置的语音内容，再决定其持续时长。
还有一个值得关注的细节：除了标准的“思考者到说话者”单向信息流，FlexiSLM还设计了一条可选的反向通道——“说话者到思考者连接”。这条通道将说话者已生成的语音令牌信息反馈给思考者，让它在后续推理中能够感知“我已经说了什么”，就像一边说话一边聆听自己的声音，从而更好地保持语音输出的连贯性。
最终，说话者输出的语音令牌会进入预训练好的流匹配音频解码器，转换为梅尔频谱图，再通过Vocos声码器转化为24千赫兹的真实语音波形。
三、让帧率听从指令：可控帧率的实现方式
FlexiSLM最引人注目的能力在于：用户可以直接告诉模型“我希望以6.25赫兹的平均帧率输出语音”，模型便会严格按照这个节奏工作，无需重新训练。
为了实现这一点，研究团队首先考虑了一种直觉方案：通过调整合并阈值来间接控制帧率。阈值高，合并少，帧率就高；阈值低，合并多，帧率就低。这种方法确实有效，但问题在于——同一个阈值面对不同的句子，会产生差异极大的帧率结果。例如，将阈值设为0.90，理论上应输出约8赫兹，但在实际不同句子上的变化范围却从3.91到10.74赫兹，标准差高达0.70，几乎不具备可预测性。
于是，他们提出了直接帧率控制方案。在训练阶段，每一条语音样本处理时，系统会随机采样一个合并阈值，计算出该样本实际获得的平均帧率，然后将帧率数值作为条件信号输入给说话者。通俗地类比就是：不再告诉厨师“把火调到中档”（间接控制），而是直接说“我要七分熟的牛排”（直接目标），让厨师自己判断该用多大火、烤多长时间。
在推理时，用户只需指定目标帧率，系统便会自动调整内部合并强度以匹配目标。为了平滑覆盖4赫兹到12.5赫兹范围内的任意帧率（而不是仅支持几个固定档位），研究团队采用正弦位置编码将帧率数值编码为连续的向量信号，输入给说话者的每一个时间步。
实验数据验证了其精准度：当目标设定为6.25赫兹时，实际输出帧率在不同测试集上的均值都在6.24到6.25之间，标准差仅为0.03到0.06，几乎没有偏差；目标设为4.0赫兹时同样高度准确。相比之下，间接阈值控制在相同测试集上的帧率变化范围可以超过6赫兹，完全无法预期。
四、训练的三个阶段：从“学会说话”到“说得更好”
FlexiSLM的训练过程分为三个依次递进的阶段，就像培训一位同时担任翻译和播音员的工作人员：先学会播音，再学会翻译，最后实现融会贯通。
第一阶段称为“说话者预训练”。大模型主干被冻结不动，只训练说话者模块，数据来源于大量的英文文字转语音数据（约10万小时）。目的是让说话者先学会将语义令牌转化为高质量的语音输出，无需理解语言内容，只需要“会说”。说话者到思考者的反向连接在这个阶段处于关闭状态。
第二阶段称为“多任务LoRA微调”。LoRA是一种轻量级的微调技术，通过少量额外参数适应新任务，就像给训练好的大脑“加装补丁”。这个阶段打开输入端的帧合并模块和大语言模型主干，在混合任务数据上同时进行训练——包括语音对话、文字转语音、语音识别和音频理解等多种任务。其中最重要的数据来源是团队专门构建的FlexiSLM-Data数据集，包含140万条语音对话样本，总计9900小时。构建过程如下：从公开的问答、指令跟随和对话数据集中收集文字提问，用更大的模型生成文字回答，再将回答合成为语音，最后通过格式、准确性和语音识别质量三重过滤，筛除异常样本。
第三阶段称为“全参数微调”。将第二阶段的LoRA补丁合并回原始参数，对整个模型进行全参数训练，同时开启并训练说话者到思考者的反向连接。目标在于：进一步提升12.5赫兹最高质量档位下的性能，同时增强低帧率下的鲁棒性。整个训练在24块A100 80G GPU上完成。
训练损失由三部分组成：文字令牌预测损失、语音令牌预测损失、帧长度令牌预测损失，三者加权求和，其中文字损失的权重是另外两项的两倍。
五、与同类模型的比较：数据背后的真实实力
在Kimi-Audio-Evalkit评测体系上，FlexiSLM-7B与Qwen2.5-Omni-7B、Kimi-Audio-7B、Mimo-Audio-7B等主流7B参数语音大模型进行了正面比较。评测内容涵盖语音问答、语音识别和音频理解任务，同时测试了“语音输入文字输出”和“语音输入语音输出”两种模式。
在最高质量配置下，FlexiSLM的综合得分为72.4/67.2，而同为7B参数的Qwen2.5-Omni为66.7/63.3，Kimi-Audio为69.7/57.2，Mimo-Audio为70.6/59.0。FlexiSLM的语音回答质量明显领先。
当输出帧率降至6.25赫兹后，FlexiSLM的综合得分几乎没有变化（72.3/66.2），语音令牌减少了一半，但质量损失极小。进一步将输入和输出都降至6.25赫兹，得分为70.2/64.3，在语音对话维度上依然超过所有7B基线模型。这直接验证了其核心主张：动态帧率能够在更低计算开销下达到甚至超越固定帧率模型的表现。
继续压缩至5.0赫兹，综合得分降至69.0/60.4；4.0赫兹时则为67.2/56.5。语音识别错误率也随之上升：6.25赫兹下为2.55/6.37，5.0赫兹下为3.34/7.85，4.0赫兹下为4.47/9.53。可见低于6.25赫兹后质量衰减更为明显，这也是未来工作的重点方向之一。
推理速度方面的数据同样印证了这项研究的价值。FlexiSLM在最高质量配置下的实时因子为1.17，而Qwen2.5-Omni为1.57，FlexiSLM快了34%。当输出帧率降至6.25赫兹时，RTF降至0.59，比实时速度快了近一倍，相比Qwen2.5-Omni快了约2.7倍。从计算量来看，12.5赫兹配置需要约4.57 TFLOPs，输出降至6.25后降至3.41，进一步降至2.73。
在语音生成质量方面，文字转语音的识别错误率FlexiSLM以2.14%优于Qwen2.5-Omni的3.18%和Qwen3-Omni的3.34%。在对话回答的语音中，识别错误率4.52%同样优于对方的6.33%。这表明FlexiSLM输出的语音不仅速度快，发音清晰度也更高。
在音频理解任务上，FlexiSLM同样表现出色。在情感识别、口音识别、人声分类、乐器识别和性别分类等任务上，平均准确率达到65.8%，超过了Gemini 2.5-Pro的48.3%和LLaSO-3B的58.3%。值得注意的是，音频理解类任务在帧率降低时表现非常稳定——从12.5一路降至4.0赫兹，准确率几乎没有变化。原因在于情感、口音这类整体性特征不依赖于精细的局部音素细节，全局声学统计信息在合并后仍得以保留。
六、消融实验：拆解每个设计决策的贡献
研究团队系统测试了各项设计选择的必要性，采用更小规模的训练进行对比实验，所有变体均在6.25/6.25赫兹下进行评估。
如果将动态帧合并替换为均匀合并（即每两帧固定合并为一帧，不依据相似度判断），结果是语音对话综合得分从63.0降至61.0，文字转语音的识别错误率从3.11%上升至4.95%，涨幅约为59%。这说明动态合并确实比均匀合并保留了更多对语音质量有意义的信息。
类似地，如果将输入端的动态合并也替换为均匀合并，语音转文字的综合得分从68.7降至67.5，困难测试集的识别错误率从7.20%上升至7.97%。但语音对话得分和简单测试集的识别率几乎不变。这表明动态输入合并主要对需要精细语音理解的任务有帮助。
将直接帧率控制换回间接阈值控制后，语音对话和文字转语音的质量下降，而语音转文字和语音识别几乎不受影响。研究团队分析认为，阈值控制的模糊性让说话者在训练中面临更复杂的学习任务，需要从不够精确的条件信号中猜测目标帧率，从而减慢了收敛速度，在有限预算下导致生成质量较差。
研究团队还测试了不同编码器和主干的选择。换用SenseVoice编码器，语音问答稍有下降但语音识别提升；换用专门的ASR编码器，语音识别大幅提升但语音问答明显下降——这与直觉一致，ASR编码器善于识别文字内容，但理解语义层面的能力较弱。换用Qwen2.5-Omni的预训练主干，语音问答下降但语音识别提升，说明从文字LLM出发的主干拥有更强的知识和推理先验。
最后，如果将输入端帧合并模块中的Transformer去掉，直接将合并后的特征送入大语言模型，语音识别错误率急剧恶化（干净集从2.92%升至6.45%，困难集从7.20%升至12.33%），语音问答也明显下降。这个实验表明，用于重新对齐动态合并后特征的轻量Transformer是不可或缺的组件。
说到底，FlexiSLM所做的工作就是为语音大模型装上了“变速齿轮”。此前的系统只能全速运行，就像只有一个挡位的汽车；而FlexiSLM则让模型能够根据实际需要灵活切换速度，在性能充裕时全速前进，在资源有限时降速运行，整个过程无需更换系统。
这对普通用户意味着什么呢？在不久的将来，AI语音助手可以在需要最快响应时以低质量快速给出答案，在等待时间充足时切换到高质量模式——切换只需要改变一个参数，无需部署两套系统。对于资源有限的边缘设备（比如手机或智能音箱），这种灵活性的价值尤为显著。
当然，研究团队也坦诚指出了现阶段的不足。FlexiSLM目前还不支持流式输出，需要等模型生成完整个回答后再播放，而非边想边说。模型尚未经过RLHF或DPO这类对齐训练，训练数据集中在单轮对话，多轮对话、深度推理和复杂指令支持方面仍有提升空间。
Q&A
Q1：FlexiSLM的动态帧率与普通语音模型的固定帧率有什么本质区别？
普通语音模型以固定节拍处理每一段声音，无论内容是否包含信息量都一视同仁；FlexiSLM则会判断相邻声音片段是否相似，将内容相近的部分合并处理，只在内容变化明显时保留细粒度。这样一来能够减少计算浪费，平均帧率从12.5降至6.25赫兹，推理速度大约提升一倍。
Q2：FlexiSLM将帧率压得很低，语音质量会不会变差到听不清？
在6.25赫兹下，语音质量损失很小，综合评分仅下降约1分（满分100），语音识别错误率仍在可接受范围内（约2.55%/6.37%）。压缩至5.0赫兹时损失开始明显增加，4.0赫兹时下降较大。6.25赫兹是当前兼顾速度与质量的合理平衡点。
Q3：FlexiSLM的帧率控制与其他语音大模型相比有什么优势？
现有的语音大模型都是固定帧率，无法在推理时进行调整。FlexiSLM是目前第一个支持直接指定目标帧率的语音大模型，用户只需告诉模型“我要6.25赫兹”，模型就能精确执行，误差小于0.1赫兹，无需重新训练或部署多套系统。
