在声纹识别领域,近日迎来了一位重磅新成员——武汉大学携手中国移动九天人工智能团队及昆山杜克大学,基于YouTube海量数据,正式开源了名为VoxBlink2的高质量数据集。该数据集规模惊人:总时长超过11万小时的音视频素材,囊括990多万条高保真音频片段及其对应视频,涉及来自YouTube的11万余名用户。简而言之,这是目前全球公开可用的最大规模音视频说话人识别数据集,为声纹识别研究提供了前所未有的数据基础。

那么,这个庞大的数据集是如何从海量YouTube视频中精选出来的?整个构建流程主要分为四个核心阶段:
候选人准备:首先采集多语种关键词,据此检索相关用户视频,并截取每个视频前60秒作为初始处理素材。
人脸提取与检测:以高帧率抽取视频帧,并利用MobileNet网络进行人脸检测。此环节的关键在于确保视频画面中始终只有单一说话人,有效排除多人场景的干扰。
人脸识别:借助预训练的人脸识别模型逐帧比对,严格确认音频片段与视频中的人脸属于同一说话人。
活动说话人检测:通过唇动序列与音频信号的联合分析,利用多模态检测器精确定位发声区间,同时剔除多说话人混合、重叠的部分。
为了进一步提升数据集的准确性,研究团队还设计了一条“旁路”机制——引入集内人脸识别器。具体流程是:先粗略提取人脸,然后进行人脸验证与采样,最后开展模型训练。经过此轮优化,数据准确率从72%大幅跃升至92%。
VoxBlink2不仅提供了优质数据,还同步开源了多个不同规模的声纹识别模型。这些模型包括基于ResNet的2D卷积架构、基于ECAPA-TDNN的时序模型,以及采用Simple Attention Module的超大规模ResNet293模型。在Vox1-O标准测试集上,经过后处理优化后,这些模型实现了0.17%的等错误率(EER)和0.006%的最小时检测代价函数(minDCF),性能表现极为出色。
