Ichigo的独特之处就在于，它直接砍掉了“语音转文本”这个环节，把语音信号量化成一串离散令牌，然后统一处理。这么一来，算力消耗大幅降低，响应速度自然快得多。

从更抽象的角度讲，这其实是让AI真正“听懂”了语音本身，而不仅仅是识别文字。这也正是Ichigo被称作“实时语音AI”的原因。

项目简介

Ichigo是一个开源的多模态AI语音助手，采用混合模态模型，能够实时处理语音和文本交织的序列。它把连续语音信号量化成离散令牌，然后利用统一的Transformer基础架构同时处理语音和文本，不需要单独的适配器。这种跨模态的联合推理与生成，使得首令牌生成的延迟只有111毫秒——比现有很多模型快出一个数量级。

交互能力演示

Ichigo在处理复杂交互时的高效和灵活，是它最亮眼的地方。

1. 跨模态指令理解

它能无缝处理语音和文字混合输入，实现真正的跨模态交互。无论你是用语音说话，还是直接打字，Ichigo都能准确理解并做出回应。这种能力在需要快速响应的场景——比如实时客服、语音控制——特别有优势。

2. 多轮对话处理

在多轮对话测试中，Ichigo展现出出色的语境跟踪能力。它能记住对话的历史，并根据上下文提供更准确、更个性化的回答。对于复杂的查询和连贯的用户体验来说，这一点至关重要。

3. 应对模糊输入

当语音不清晰或者背景有噪音时，Ichigo不会胡乱猜测用户意图。它会礼貌地请求用户重复指令。这种策略有效避免了误解，保证了交互的准确性和效率。

技术亮点

1. 混合模态早期融合技术

Ichigo采用了一种创新的早期融合技术，在输入阶段就把语音和文本数据合并处理。这与传统的级联处理模型（先识别语音，再处理文本）不同，它能更高效地处理混合数据，减少处理时间，提升响应速度。

2. 统一的Transformer架构

模型使用统一的Transformer架构来处理量化后的语音和文本令牌。这种架构不仅支持并行处理两种数据，还允许在处理过程中进行交叉学习和特征共享。这提升了模型的一致性，也增强了从复杂查询中提取信息的能力。

3. 语音到令牌的转换

Ichigo通过WhisperVQ技术将语音输入转换为离散令牌——类似于文本处理中的字词分割。模型将连续的语音信号离散化，然后由统一的架构处理，实现了高效的语音解析。

4. 实时性能与低延迟

首令牌生成的平均延迟仅为111毫秒，远低于现有的多模态处理系统。这对于需要快速反应的应用场景，比如实时通讯和互动游戏，尤其重要。

5. 多语言处理

除了英语，Ichigo还支持多种语言。这得益于它在预训练阶段使用了大规模的多语言语音识别数据集。多语言能力让它能够服务于全球用户，应用前景更加广阔。