动作质量评价，本质上就是为“动作执行效果”打分。这一任务在实际应用中颇具挑战——需要理解长时间序列的动作过程，并给出细粒度评价。更棘手的是，现实世界中采集到的多模态数据，很难做到“完整一致”。视频、光流、音频等模态虽能从不同维度描述动作，但传感器故障、环境噪声、隐私保护限制等因素，导致模态缺失成为常态。

以往的方法虽然在测试阶段能处理缺失模态，但大多默认一个理想前提：训练时所有模态均已齐全。它们依赖“全量数据先验”——先观察完整模态，再学习如何应对不完整输入。然而，当训练数据本身存在系统性缺失时，模型既缺乏高质量重建监督，也失去了完整模态提供的先验知识。这种设定在动作质量评价任务中尤为致命，因为任何关键模态的缺失，都可能导致评分偏差。

针对“训练阶段即不完整”这一现实困境，北京大学彭宇新教授团队联合福州大学柯逍教授团队，提出了一种全新框架——LIMSSR。相关论文已被 ICML 2026 接收为 Spotlight，代码也已开源。

论文标题：LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations
论文链接：https://arxiv.org/abs/2605.00434
开源代码：https://github.com/XuHuangbiao/LIMSSR
实验室网址：https://www.wict.pku.edu.cn/mipl

该方法的核心思路在于，不再依赖完整模态的监督信号，而是将不完整多模态动作质量评价重新定义为“条件化的序列到分数推理问题”。简而言之，利用大语言模型依据已有上下文，推断缺失模态中蕴含的语义，进而完成跨模态融合与最终打分。

1. 背景与动机

图1清晰揭示了问题的痛点。现有方法通常在测试阶段才面对缺失，训练时仍采用“全模态上场”策略。但在真实场景中，训练数据本身可能残缺不全，导致重建、蒸馏等“权宜之计”失去根基。

LIMSSR 正是要解决这一更严峻、更贴近现实的挑战。

2. 技术方案

LIMSSR 将问题建模为从“部分观测 + 缺失掩码”到“质量分数”的条件序列推理过程。围绕这一目标，整个方案分为三个阶段，环环相扣。

阶段 I：提示引导的上下文感知模态补全（PCMI）

与传统方法将缺失模态简单置零不同，模型被明确告知“哪里缺失、缺的是什么、如何推断”。每种模态都设计了起止边界词元——可观测的输入真实特征，缺失的则插入专门的缺失词元作为占位。所有模态被统一组织成包含结构信息的序列，再结合任务提示词，引导大语言模型根据已有上下文，推断缺失模态对应位置的潜在表示。关键之处在于，这里恢复的不是原始“真值”，而是对评价有助益的潜在语义。

阶段 II：大语言模型驱动的多维表示融合（LMRF）

LIMSSR 摒弃了传统的池化或简单拼接方式，设计了多个融合词元，相当于“语义槽位”，分别承载不同评价维度的信息。模型在推理过程中将多模态上下文整合到这些槽位，再通过加权聚合形成主要融合表示。这种设计使不同词元能够分别关注动作完成度、时序稳定性、节奏一致性等维度，表达能力更强。

阶段 III：掩码感知的双路径聚合（MDA）

仅依靠大语言模型推理，虽能获得高层语义，但在严重缺失场景下容易产生不确定性甚至“幻觉”。反之，如果只依赖底层统计特征，又会丢失任务相关语义。因此，这里设计了两条协同路径：一条是“语义推理路径”，从主要融合表示出发，结合缺失掩码构造门控与残差校正，动态调节大语言模型输出的可信度；另一条是“统计恢复路径”，回溯各模态隐藏状态，建模跨模态统计关系，最终聚合得到统计恢复表示。两条路径通过全局协同系数，共同映射到评价空间，实现动态平衡。这一设计使 LIMSSR 并非单纯依赖大语言模型“猜测答案”，而是在语义推理与跨模态统计之间找到了稳健的支点。

总结来看，LIMSSR 的技术路线是：用提示词显式描述缺失状态，用大语言模型推断缺失语义，用融合词元汇聚多维信息，再用掩码感知的双路径机制控制推理可信度与统计稳健性。

3. 实验结果

在三个公开基准（FS1000、Fis-V 和 RG）上，LIMSSR 的表现十分亮眼。实验覆盖了六种不完整模态组合以及完整模态组合，并与来自不完整多模态情感识别、不完整多模态动作识别，以及不完整/完整多模态动作质量评价领域的多种先进方法进行了对比。结果显示，LIMSSR 在训练阶段存在模态缺失的严格设定下，依然取得了最优或极具竞争力的结果。这意味着它不仅能够更准确地区分动作质量高低，在具体分数预测上也具有更高精度。

更值得关注的是，LIMSSR 虽专为“训练阶段不完整观测”设计，但在完整模态场景下同样展现出很强的竞争力。这说明它并未牺牲完整场景的性能来换取缺失场景的鲁棒性，而是真正学习到了更通用、更稳定的多模态语义建模能力。

为了验证模型是否真正学会了“推断缺失模态语义”，研究团队比较了模型推断表示与真实模态表示之间的相似性。结果清晰显示：推断表示与目标真实模态的相似度，远高于与其他模态的相似度。这表明 LIMSSR 并非生成模糊的“平均语义”，而是能够恢复出有针对性的潜在信息。

t-SNE 可视化也提供了直观印证：经过 LIMSSR 推理后，缺失模态生成的潜在表示能够更紧密地对齐到已有模态附近，跨模态语义鸿沟被明显缩小。这不仅是“补全信息”，更是实现了更有效的跨模态语义对齐。

4. 结论

针对训练阶段不完整观测这一更真实、也更具挑战性的多模态学习问题，LIMSSR 给出了一个清晰的解决方案。它不依赖完整模态训练监督，而是通过提示引导的上下文感知模态补全、大语言模型驱动的多维表示融合，以及掩码感知的双路径聚合，在已有模态上下文中恢复缺失模态的潜在语义，并实现稳健的评价预测。这项工作也充分展现了大语言模型在不完整多模态学习中的巨大潜力。