小米发布Xiaomi-MiMo-Audio：全球首个开源端到端语音大模型

据热心网友"飞天面条神"提供的信息显示 近日，小米宣布开源旗下首个端到端语音大模型Xiaomi-MiMo-Audio，在语音技术领域实现了基于上下文学习的少样本泛化能力突破。这一创新解决了当前语音模型对大量标注数据的依赖问题，为构建更智能的语音交互系统开辟了新方向。

据了解，GPT-3五年前通过自回归模型大规模预训练展现了出色的上下文学习能力，带动了自然语言处理的革命。但语音识别领域长期受限于人工标注数据的需求，模型泛化能力较弱，难以适应新场景。

Xiaomi-MiMo-Audio采用创新的预训练框架，经过累计亿万小时的训练，在智商、情商、表达能力和安全合规等多个维度实现了突破性进展。其语音自然度、情感表达及交互适应性已接近真人水平。 该模型在技术上取得两大突破：首先证实了基于语音无损压缩的亿级预训练可以产生跨任务泛化能力，使模型具备出色的少样本学习性能；其次完整提出了语音生成式预训练的目标框架，并开源了包含Tokenizer、模型结构、训练方法和评价标准在内的完整技术方案。

目前，该模型的预训练版本和指令调优模型已在Huggingface平台发布，Tokenizer模型也同步在Github开放。这个基于Transformer架构的1.2B参数大模型支持音频重建、语音转文本等多种任务应用，为科研和产业发展提供了有力支撑。