在医疗AI领域，实时处理多模态数据一直是核心挑战。NVIDIA推出的Clara Holoscan平台，正是为了应对这一需求而生。开发者可以基于它构建应用，用来处理多模态传感器数据、运行基于物理性质的模型、加速AI推理，甚至实时渲染高质量图形——这些能力直接服务于机器人辅助手术、介入放射学和放射治疗规划等临床场景。

要让AI医疗设备真正落地临床，关键就在于实时处理和预测数据，并将结果可视化。NVIDIA Clara Holoscan正是为此而设计的计算平台——它基于NVIDIA AGX Orin，为可扩展、软件定义的端到端流媒体数据处理医疗设备提供了所需的基础设施。作为一个能将医疗设备与边缘服务器无缝连接的端到端平台，它帮助开发者创建AI微服务：在设备上运行低延迟串流应用，同时将更复杂的任务传到数据中心。

让不可能的梦想落地

实现实时工作流程

几乎每台智能医疗设备都遵循类似的流程：传感器采集数据，经过数据域处理，再到可视化呈现，辅助人类决策。不同设备（CT扫描仪、内窥镜或ICU室内摄像机）在每个阶段需要的计算水平差异很大。Clara Holoscan则针对每个阶段进行了专门加速：

高速I/O：借助NVIDIA GPUDirect RDMA和ConnectX智能网卡或第三方PCI Express卡，数据可以直接流式传输到GPU显存，实现超低延迟的下游处理。

物理处理：数据传输到GPU后，CUDA-X和NVIDIA Triton推理服务器加速基于物理性质的计算或AI处理，将传感器数据转换到图像域——比如X射线和CT中的图像重建，或超声波中的波束成形。

图像处理：利用NVIDIA Triton将图像数据输入AI模型，进行检测、分类、分割或目标追踪。

数据处理：通过NVIDIA cuCIM库，将传感器的图像数据流与之前获取的其他图像结合，开发者可以使用电子健康记录等补充信息对数据进行配准或增强。

渲染：借助Clara渲染服务器，开发者可以实时将设备数据和预测数据进行3D可视化，或者用NVIDIA Omniverse实现交互式电影级渲染，用CloudXR增强现实——比如给临床医生一个更清晰的器官或肿瘤分割图像。

作为可扩展架构，Clara Holoscan能从医疗设备扩展到NVIDIA认证边缘服务器，再到数据中心或云中的DGX系统。开发者可以按需在设备中增减计算和I/O功能，灵活平衡延迟、成本、空间、性能和带宽。

加速医疗设备生态系统

不少医疗设备公司正在将AI和机器人技术融入产品，在机器人手术、移动CT扫描、支气管镜检中已经能看到NVIDIA加速计算平台的身影。Clara Holoscan的目标，就是帮助设备制造商从设备纵向扩展到数据中心，同时利用NVIDIA AI解决方案实现横向扩展，更好地支撑这类应用。

为了加速多种传感器输入的实时医疗设备发展，Clara Holoscan平台支持来自NVIDIA Inception AI和数据科学初创公司翻跟斗计划成员的I/O卡，包括：

• AJA视频系统——用于内窥镜检查和手术可视化应用的视频采集卡。
• KAYA仪器——用于显微镜和科学成像仪器的视频采集卡。
• us4us——用于软件定义超声波解决方案开发的研究型前端设备。
• Verasonics——超声波研究前端硬件领导者，它将支持Clara Holoscan使用高速网络技术将数据直接流式传输到NVIDIA GPU。

Clara Holoscan SDK：一次开发，任意部署

借助Clara Holoscan，开发者可以将应用自定义为一组模块化微服务，在设备和服务器上运行。由于它是软件定义的，医疗设备公司可以持续升级和改进解决方案。Clara Holoscan SDK通过加速库、AI模型以及超声波、数字病理学、内窥镜检查等参考应用来支持这项工作，帮助开发者利用嵌入式和可扩展的混合云计算。有了端到端的部署平台，企业能更轻松地升级应用，将前沿研究更快带入日常临床实践。