Vitis 视频分析 SDK：构建自己的智能视频分析解决方案
智能视频分析正在从概念走向落地，而底层工具链的成熟度直接决定了项目能否高效交付。Vitis 视频分析 SDK 就是一个专为此场景打造的完整软件堆栈——它可以在 Xilinx 目标平台或用户自定义平台上，快速搭建支持 AI 功能的视频分析系统。无论是从 USB/MIPI 摄像头直接采集视频，还是通过 RTSP 读取文件或流媒体，SDK 都能接入数据，然后借助 Vitis AI 引擎，从每一帧像素中提取出有价值的洞察。智慧城市里的交通与行人监测、医院的健康安全监控、零售场景的自助结账、生产设施中的组件缺陷检测……这些用例都在它的射程之内。
核心 SDK 内嵌了多个硬件翻跟斗插件，涵盖视频编码器、解码器、多尺度器（用于缩放和色彩空间转换），以及专门负责 AI 推理的深度学习处理单元（DPU）。关键之处在于：所有计算密集的操作都交给专用翻跟斗去处理，从而让视频分析应用跑出最高性能。
对开发者社区来说，Vitis 视频还提供了一个通用基础架构插件形式的框架，外加软件加速库和简化接口，方便用户开发自己的加速库，并控制自定义的硬件翻跟斗。借助这个框架，用户可以很轻松地把自研的翻跟斗或内核集成到 Vitis 视频分析 SDK 中。整个 SDK 建立在 Xilinx 运行时（XRT）、Vitis 和 Vitis AI 之上，同时将这些复杂接口做了抽象，显著降低了开发视频分析应用的门槛。
部署方面，Vitis 视频分析 SDK 支持两类典型平台：基于 Zynq UltraScale+ MPSoC 的嵌入式方案，比如 kira SoM 和 ZCU104；以及 PCIe 加速平台，包括 Alveo U30、U50 和 VCK 5000 等。这意味着从边缘到云端都能找到合适的硬件载体。
Vitis 视频分析 SDK 图形架构
这套 SDK 基于开源的 GStreamer 框架构建，采用经过优化设计的图形架构。下面这张图展示了一个典型的视频分析流程：从输入视频到最终输出元数据，所有独立的模块都是 GStreamer 插件，底部则是贯穿整个流程的不同硬件引擎。插件之间没有内存拷贝——采用最佳的内存管理策略，再配合各类翻跟斗，确保端到端的最高性能。
Vitis 视频分析 SDK 核心组件
定制插件
高度优化的 GStreamer 插件，利用 Xilinx 平台上的优化内核和 IP 实现非常具体且精细的功能。
基础架构插件
这些是正在开发中的通用基础架构 GStreamer 插件，帮助用户将自己的内核快速集成到 GStreamer 框架中。
加速软件库
为管理加速内核或 IP 的状态机而开发的优化软件库，对外暴露接口，可以连接到 VVAS 通用基础架构插件中。这些库可以作为基于 VVAS 框架开发加速库的参考模板。
加速硬件（内核/ IP）
由 Xilinx 开发的高度优化内核，直接提供硬件加速能力。
参考平台与应用
VVAS 提供了多种参考平台，覆盖不同应用场景和解决方案的需求。
完整的软件堆栈
性能与可扩展性
在边缘、本地和云端之间提供业界领先的端到端性能。
灵活应变性与灵活性
不仅支持高度灵活的分析工作流，还提供丰富的 AI 模型选择，充分满足多样化的需求。
生产力 & TCO
从快速原型验证到全面量产，开发工作量更少，部署成本更低。
最佳性能展示
来源：WP529，通过 Vitis VAS 和 Deepstream 5.0 使用 Uncanny Vision 的 ANPR 应用进行了基准测试。AI 模型：Yolov3（416x416）+ 3 * Resnet18（224x224）。