机器之心发布 手术AI正在经历一场从“单帧感知”迈向“全流程视频理解”的根本性跃迁。近日，由中国科学院香港创新研究院人工智能与机器人创新中心领衔，联合中国科学院自动化所、香港中文大学、慕尼黑工业大学、北京协和医院、中山大学附属第一医院、香港威尔斯亲王医院、香港大学深圳医院等全球顶尖机构，正式发布了全球首个十亿级参数、基于最大规模数据集训练的手术视频原生基础模型——SurgMotion。 域名：SurgMotion: A Video-Native Foundation Model for Universal Understanding of Surgical Videos 地址：https://arxiv.org/pdf/2602.05638 代码：https://github.com/CAIR-HKISI/SurgMotion 模型权重：https://huggingface.co/CAIR-HKISI/SurgMotion 作为手术AI领域的里程碑式成果，SurgMotion依托于迄今为止全球规模最大、术式覆盖最全的千万帧级数据集（SurgMotion-15M），首次突破了十亿级参数的门槛。它的核心能力在于实现了对器械与组织交互、以及复杂时空运动语义的深度建模。更关键的是，在首次覆盖17项核心手术任务的系统性评测中，它展现出统治级性能：手术视频动态理解能力平均提升16.5%，而在深度估计、病灶分割等静态任务中，平均误差降低了2.9%。可以说，它从底层重新定义了“通用手术视频理解”的技术标杆。 发布仅三个月，SurgMotion就已迅速成为Hugging Face上全球下载量第一的手术视频基础模型。目前，来自5大洲、14个国家和地区的近40个全球顶尖机构与研究团队，包括直觉外科、卡尔史托斯、蔡司、杜克大学、慕尼黑工业大学等，已正式申请使用。 图1. SurgMotion基础模型架构及多场景、多任务赋能示意图。 范式碘伏：从“像素重建”到“时空运动预测” 过去的手术AI，更像一个“单帧摄影师”——它盯着手术视频里的一帧帧画面，却抓不住手术最核心的东西：动作和节奏。传统的医疗视觉模型往往受限于静态图像的感知，或者深陷于低效的像素级重建泥潭。实际手术中的烟雾、反光、出血这些低级视觉噪声，会消耗模型大量计算资源，导致它根本无法理解手术的“动态语义”。 SurgMotion带来了一次根本性的范式碘伏。它基于先进的视频联合嵌入预测架构（V-JEPA），彻底抛弃了传统的像素级解码，转而专注于潜空间中的运动预测。具体来说，它引入了三大核心技术： 首先是运动引导的潜空间遮蔽预测。这种机制引导模型自动过滤掉无用噪声，把注意力集中在器械运动、组织形变这些关键手术语义区域。其次是时空亲和力自蒸馏，它强制模型学习手术视频在时间和空间上的强关联性，从而实现对复杂手术流程的连贯理解。最后是时空特征多样性正则化，它能有效解决手术场景中由于纹理单一而导致的表征崩溃问题，确保模型在各种极端手术场景下依然保持极高的鲁棒性。 图2：SurgMotion的预训练框架与下游评估流程。 全球最大：SurgMotion-15M 预训练数据集 巧妇难为无米之炊。手术视频的高门槛、隐私限制和标注难度，导致行业长期处于“数据孤岛”状态。为了打破这一瓶颈，研究团队倾力打造了迄今为止全球规模最大、术式最丰富、覆盖最全面的手术视频预训练数据集——SurgMotion-15M。 它包含3658小时的真实手术视频，总帧数高达1500万帧；汇聚了来自50个不同数据源的珍贵影像；横跨13个主要解剖区域，涵盖腹腔镜、胸腔镜、神经外科、眼科、耳鼻喉科等多学科复杂术式。如此庞大且高质量的数据滋养，赋予了SurgMotion史无前例的泛化能力和跨科室通用性。 图3：SurgMotion-15M与国内外主流手术视频数据集的总时长对比。 模型参数史上首次迈入十亿级 在1B参数支持下，SurgMotion成功整合了视频特征空间，能够对手术视频核心动态与时空信息进行深度学习。它对器械-组织交互、组织形变及操作节奏的捕捉能力，明显超越了以往所有模型。 图4：预训练数据规模、模型参数量与流程识别性能对比。 首次全面评测：覆盖17项核心手术任务 在涵盖手术工作流识别、动作理解、深度估计、病灶分割、器械交互以及手术技能评估等17项权威基准测试中，SurgMotion接受了极其严苛的系统性评测，结果堪称统治级。 在手术工作流理解上，它在EgoSurgery数据集上的F1分数大幅提升14.6%，在PitVis数据集上提升10.3%。在动作三元组识别上，它在行业公认的CholecT50数据集上，以39.54% mAP-IVT的优异成绩刷新了世界纪录。在静态视觉与几何感知方面，深度估计任务的误差平均降低2.95%；息肉或病灶分割任务的精度，相较于既有最强模型平均提升约1.0%，展现出极强的空间几何感知力。 无论是宏观的手术步骤推理，还是微观的器械-组织交互，SurgMotion都用详尽的评测数据证明了自己作为通用底座的强大实力。 图5. SurgMotion在各项主流手术理解任务及科室中的性能雷达图 全球生态共鸣：推动技术落地与合作 对于广大医疗AI科研团队而言，数据清洗、算力开销以及繁琐的环境配置，往往是阻碍创新的最大痛点。因此，SurgMotion在GitHub和Hugging Face上全面开放了模型权重、微调代码、开箱即用的评估框架与环境配置接口。发布以来，它的影响力已从学术界快速延伸至全球医疗技术与临床研究生态，在产业界、科研机构和临床场景中形成广泛共鸣。 在产业合作方面，已有至少5家医疗科技企业和行业机构申请使用SurgMotion，包括Intuitive Surgical（达芬奇手术机器人公司）、Karl Storz（内镜设备龙头）和ZEISS（光学与医疗设备企业）等研发团队，用于手术视频理解、内镜智能分析、机器人辅助手术等方向的技术评估与应用探索。高校与科研生态方面，已有至少22所高校和科研机构加入验证，包括Duke University、慕尼黑工业大学（TUM）、悉尼大学、香港科技大学、澳门大学等，研究方向覆盖手术VLA模型开发、视频特征提取、时序推理、手术动作理解和多模态手术智能等前沿领域。临床实践合作方面，已有至少7家医院、医学院及临床相关机构申请使用SurgMotion，包括Samsung Medical Center、Bucheon Sejong Hospital、Southern Medical University、Thomas Jefferson等机构，围绕手术教学、术中质量评估、数据质控和结构化复盘等真实临床需求开展探索。特别值得一提的是，SurgMotion团队与港大深圳医院紧密合作，通过自动化手术视频结构化分析，推动手术标准化教学、手术质量复盘与临床质控流程的智能化升级。 这一生态扩展为SurgMotion提供了从基础研究、产业验证到临床落地的多维应用场景，也进一步体现了它作为手术视频基础模型的通用能力与真实世界价值。 中国科学院香港创新研究院人工智能与机器人创新中心聚焦人工智能与生命健康的融合创新，围绕多模态大模型、具身智能、数字孪生开展研发，入选香港InnoHK计划。中心坚持临床和产业需求为驱动，以服务医生患者创造价值为目标，成建制开展面向医疗AI的研发与转化。