本文为你详细解析低延迟AI服务端ASR搭建的CPU推理方案，涵盖开源项目sherpa-onnx、主流模型选择、CPU推理实现、实测延时数据及成本估算，助你低成本快速搭建个人语音识别服务。
1. sherpa-onnx 项目概览
https://github.com/k2-fsa/sherpa-onnx
sherpa-onnx 是一款跨平台、多语言的语音处理工具包，基于 onnxruntime 实现，支持丰富的语音AI功能，包括：
- 语音活动检测（VAD）
- 语音转文本（ASR）
- 文本转语音（TTS）
- 说话人分割与声纹识别
老规矩，先快速介绍几个核心亮点：
- 跨平台兼容：原生支持 Windows、macOS、Linux 以及 Android、iOS 等操作系统，同时适配各类嵌入式系统。
- 多语言API：提供11种主流编程语言接口，方便集成。
- 高性能推理：基于 ONNX 运行时优化，适合在不同计算能力的设备上高效部署。
实用建议： 如果你想在树莓派或低配服务器上运行，sherpa-onnx 的跨平台特性非常适合，记得选用 int8 量化模型来降低资源占用与推理延迟。
2. 模型选型指南
模型列表：https://k2-fsa.github.io/sherpa/onnx/pretrained_models/index.html
根据上篇实测，VAD 模型参数量较少，延时可忽略不计，因此 VAD 模型选择维持原方案。
2.1 ASR 模型选择
要想 ASR 识别效果稳定且延迟低，模型参数量要适中，同时必须支持流式推理。综合来看，ASR 模型我们推荐采用支持流式推理的 paraformer——这也是阿里云上广泛使用的流式推理模型。
核心选择： paraformer 流式推理模型在识别精度与低延迟之间取得了良好平衡，是 CPU 推理场景下的首选方案。
2.2 声纹向量模型选择
考虑到模型参数量与推理延时正相关，为兼顾性能与实时性，推荐使用 3dspeaker_speech_campplus_sv_zh_en_16k-common_advanced 模型。
常见疑问： 问：为什么不选用更大的声纹模型？答：参数量越大推理耗时越长；对个人玩家而言，3秒音频的推理时间控制在0.1秒内已完全够用，过大模型会导致响应实时性下降。
3. CPU 推理实现方案
3.1 模型加载流程
VAD 模型的加载方式与上篇保持一致，ASR 和声纹识别模型则采用 sherpa-onnx 的官方加载方式：
class ModelManager:
def __init__(self):
self.vad_model = None
self.asr_model = None
self.sv_model = None
def load_models(self):
self.vad_model = AutoModel(model="ckpts/speech_fsmn_vad_zh-cn-16k-common-pytorch")
model_dir = "ckpts/sherpa-onnx-streaming-paraformer-bilingual-zh-en"
self.asr_model = sherpa_onnx.OnlineRecognizer.from_paraformer(
encoder=f'{model_dir}/encoder.int8.onnx',
decoder=f'{model_dir}/decoder.int8.onnx',
tokens=f'{model_dir}/tokens.txt')
model_dir = "ckpts/3dspeaker_speech_campplus_sv_zh_en_16k-common_advanced.onnx"
config = sherpa_onnx.SpeakerEmbeddingExtractorConfig(model=model_dir)
self.sv_model = sherpa_onnx.SpeakerEmbeddingExtractor(config)
注意： 模型中 encoder 和 decoder 的 int8 版本能显著降低推理耗时，但精度略有损失，可根据实际需求选用 fp16 或 fp32。
3.2 推理流程优化
服务的核心逻辑是：当 VAD 检测到活动音频时，asr_model 创建一个音频流 self.stream：
if self.stream is None:
self.stream = self.model_manager.asr_model.create_stream()
self.input_stream(self.audio_buffer)
之后，每个音频片段都会压入该音频流：
def on_audio_frame(self, frame):
frame_fp32 = np.frombuffer(frame, dtype=np.int16).astype(np.float32) / 32768
if self.stream:
self.input_stream(frame_fp32)
实测发现，streaming-paraformer 的流式推理机制为：每累积 10 个 60ms 音频块触发一次解码，而单次解码耗时 < 0.3s。因此，RTF（实时因子）可以稳定做到 < 1。
为实现真正的实时推理，我们将音频数据压入一个消费队列进行异步处理，改造过程如下：
首先，音频数据不再直接解码，而是放入队列：
# self.input_stream(frame_fp32)
self.asr_queue.put(frame_fp32)
然后，创建一个 worker 线程异步消费队列中的音频：
def _decode_worker(self):
while True:
try:
# 使用阻塞方式获取音频数据
chunk = self.asr_queue.get(timeout=0.01)
if self.stream: # 确保stream存在
self.running = True
self.input_stream(chunk)
except Empty:
self.running = False # 清除解码事件
continue # 队列为空时继续等待
except Exception as e:
logging.error(f"Error in decode worker: {e}", exc_info=True)
最后，声纹向量模型提取音频特征的方式如下：
def generate_embedding(self):
if self.audio_buffer.shape[0] == 0:
return []
# last 3 seconds for speaker embedding
stream = self.model_manager.sv_model.create_stream()
stream.accept_wa veform(SAMPLE_RATE, self.audio_buffer[-SAMPLE_RATE*3:])
stream.input_finished()
embedding = self.model_manager.sv_model.compute(stream)
return embedding
优化提示： 异步队列的 timeout 设置为 10ms 可平衡 CPU 占用与响应时延，若发现识别丢字，可适当调大该值。
3.3 延时测试结果
streaming-paraformer 流式推理：每 10 个 60ms 音频块触发一次解码：
| 模型 | CPU 推理耗时 (秒) |
|---|---|
| paraformer | 0.09-0.25 |
| paraformer-int8 | 0.08-0.09 |
声纹向量 模型（音频时长最长3秒）单次推理耗时：
| 模型 | CPU 推理耗时 (秒) |
|---|---|
| 3dspeaker | 0.09 |
关键数据： int8 量化后的 paraformer 推理时间稳定在 0.08~0.09 秒，完全满足实时对话场景的延迟要求。
3.4 服务器配置与成本估算
上述三个模型加载后占用内存约 1.0 G+。因此，若不考虑高并发，虚拟机配置建议至少 2c2g。
以主流云厂商包年包月价格为例：
阿里云：https://www.aliyun.com/minisite/goods?userCode=ggqtukm3
腾讯云：https://curl.qcloud.com/BLm2fgkN
当然，如果只是体验试用，无需长期包年。推荐试试 sealos 的按需付费产品。
注册体验：https://cloud.sealos.run/?uid=QDGJoX2_Qp
新人注册赠送 10 元余额，足够体验一段时间。以 2c2g 配置为例，挂载一块 20G 磁盘，每天费用约 1.5 元，不用时关停即可。
实用建议： 使用 sealos 按需付费时，建议设置自动关机策略，避免遗忘产生额外费用。另外，2c2g 配置下建议限制最大并发连接数为 1，防止 CPU 跑满导致服务不稳定。
写在最后
本文详细分享了小智AI服务端ASR的CPU推理方案，涵盖 sherpa-onnx 项目介绍、模型选型、完整异步推理实现，并提供了延时测试与成本估算。通过 int8 量化模型和异步队列优化，你只需一台 2c2g 云服务器即可实现低延迟实时语音识别，每天成本仅约 1.5 元。赶快动手试试吧！