多目标跟踪（MOT）入门教程：从基础到前沿

在人工智能领域，多目标跟踪（Multi-Object Tracking, MOT）是一项至关重要的技术，广泛应用于视频监控、自动驾驶、体育分析等场景。然而，对于初学者来说，该领域涉及的概念繁多、算法复杂，容易迷失方向。本教程将基于系统性的调研，以图文结合的方式，带你从宏观到微观，全面理解MOT的核心原理、关键算法、评价指标以及最新进展。无论你是刚入门的研究者，还是希望在实践中应用的工程师，都能从中获得清晰的脉络和实用的指导。

01 相关方向：先见森林

多目标跟踪并非孤立存在，它与多个计算机视觉方向紧密关联。以下是一些核心相关方向：

• 单目标跟踪（VOT/SOT）：关注单个目标的持续追踪，是多目标跟踪的基础。
• 目标检测（Detection）：提供每一帧中目标的边界框，是MOT的前提。
• 行人重识别（Re-ID）：通过外观特征匹配不同帧中的同一目标，提升关联准确性。
• 视频相关方向：如多摄像头跟踪（MTMCT），但近年来因隐私问题（如DukeMTMC数据集停止提供）而研究受限。

提示： 如果你刚接触MOT，建议先掌握目标检测和单目标跟踪的基本知识，这能帮助你更快理解后续内容。

常见问题： 为什么多摄像头跟踪（MTMCT）研究变得困难？
答案： 2025年5月，DukeMTMC数据集因隐私问题不再提供，导致该方向的可用数据骤减，研究进展受阻。

02 核心步骤：从原始帧到目标ID

大多数MOT算法遵循一个标准的流程。下图展示了典型的四个步骤：

1. 检测（Detection）：对视频的原始帧运行目标检测器，获取每个对象的边界框。
2. 特征提取与运动预测（Feature Extraction & Motion Prediction）：为每个检测到的物体提取特征（如视觉表观、运动速度等）。
3. 相似度计算（Similarity Calculation）：计算两个对象（如当前帧检测与已有轨迹）属于同一目标的概率。
4. 数据关联（Data Association）：为每个对象分配唯一的数字ID，完成跨帧匹配。

在上述步骤中，检测结果的好坏对最终指标影响最大。然而，多目标跟踪的研究重点往往集中在相似度计算和数据关联上。这导致一个尴尬的局面：你精心设计的关联算法可能只提升0.1个点，而别人用针对数据集的trick消除漏检就能轻松涨好几个点。因此，研究数据关联的回报收益很低。虽然该领域在工业界极具价值，但学术界因指标和数据集的限制，入坑前务必三思。

常见问题： 为什么检测对MOT如此重要？
答案： 检测提供最基础的目标位置信息。如果检测器漏检或误检，后续的特征提取和关联都会出错，导致跟踪失败。因此，一个强大的检测器往往能大幅提升跟踪性能。

03 评价指标：如何衡量跟踪好坏

MOT领域主要有三类评价指标：

• 传统标准：已过时，不再使用。
• CLEAR MOT（2006年）：目前使用最广泛的指标是MOTA（多目标跟踪准确率）。但它侧重于FN（漏检）和FP（误检）的权重，更多衡量的是检测的质量，而非跟踪的效果。
• ID scores（2016年）：基于匹配的指标，能更好地衡量数据关联的好坏，例如IDF1、IDP、IDR。

小提示： 阅读论文时，要区分MOTA和IDF1：MOTA高不一定代表跟踪好，可能只是检测好；而IDF1高则说明身份切换少，关联更稳定。

常见问题： 为什么MOTA不是完美的指标？
答案： MOTA主要由漏检和误检决定，对ID切换（ID Switches）不敏感。因此，一个检测完美但频繁切换ID的跟踪器，MOTA可能仍然很高，但这并非理想结果。

04 数据集：从哪里获取训练和测试数据

目前最常用的MOT数据集是MOTChallenge，专注于行人跟踪。其他数据集包括：

• KITTI：自动驾驶场景，包含汽车和行人，但在MOT论文中较少使用。
• 老数据集：如ETH、PETS等，现已很少使用。
• MOT15：基于老数据集修正而来。
• MOT16：全新数据集，行人密度更高、难度更大。特别需要注意的是，其提供的DPM检测器效果非常差，漏检和误检严重。
• MOT17：视频与MOT16相同，但提供了三个检测器（DPM、FRCNN、SDP），结果更公平，是目前论文的主流数据集。
• MOT19：针对特别拥挤的场景，目前仅在CVPR19比赛中可用。

上图展示了MOT16公开检测器上的结果。从2017年开始，MOTA提升速度明显放缓。注意其中帧率20Hz的算法MOTDT，后文会详细介绍。

上图是MOT16私有检测器上的结果。检测器性能的好坏对结果影响极大：使用私有检测器后，SOTA算法性能直接提升了近20个点。

上图是MOT17公开检测器上的表现。由于使用了三个检测器，FP、FN等指标几乎是MOT16的三倍。

常见问题： 初学者应该使用哪个数据集？
答案： 推荐使用MOT17数据集。它提供了多个检测器结果，便于公平比较，并且社区资源丰富。如果你对特定场景（如拥挤人群）感兴趣，可参考MOT19。

05 核心算法：SORT与DeepSORT

这两个算法是工业界关注度最高的MOT框架，也是后续许多改进的基础。

SORT（Simple Online and Realtime Tracking）

SORT的核心是两个算法：卡尔曼滤波和匈牙利匹配。

• 卡尔曼滤波：包含预测和更新两个过程。预测时，随着时间推移，目标位置的不确定性增加；更新时，通过传感器观测减少不确定性。它用于预测目标在下一帧的位置。
• 匈牙利算法：解决分配问题。给定一个代价矩阵（cost_matrix），可以找到最优匹配。常用的库函数有sk-learn的linear_assignment_和scipy的linear_sum_assignment，注意输出格式不同。

SORT的工作流程（见下图）：

关键步骤：

1. 轨迹卡尔曼滤波预测
2. 使用匈牙利算法将预测后的tracks与当前帧的detections进行IOU匹配
3. 卡尔曼滤波更新

对于未匹配的轨迹，SORT设置了一个丢失时间阈值t_lost=1，相当于对未匹配轨迹直接删除。这是因为简单匀速模型无法准确预测长时间丢失后的状态，且SORT主要关注帧到帧的跟踪。

小提示： 关于SORT论文的详细翻译，可参考《SORT》论文翻译。

DeepSORT（Simple Online and Realtime Tracking with a Deep Association Metric）

DeepSORT在SORT的基础上增加了两个关键创新：

• 级联匹配（Matching Cascade）
• 新轨迹的确认（Confirmed）

工作流程变为：卡尔曼预测 → 匈牙利匹配（级联匹配 + IOU匹配） → 卡尔曼更新。

关于新轨迹为何要连续三帧命中才确认？个人认为这与测试集检测质量差有关，严格的确认流程可以减少误检带来的虚假轨迹。

级联匹配（核心创新）的具体过程如下：

上半部分为特征提取和相似度估计，代价函数由两部分组成：

• 马氏距离：代表运动模型，衡量预测位置与检测位置之间的差异。
• Re-ID特征：代表外观模型，通过一个Re-ID网络提取特征向量，计算余弦距离。

下半部分为数据关联的主体。级联匹配通过一个循环，从missing age=0（从未丢失过的轨迹）到missing age=30，按优先级依次与检测结果匹配。即，从未丢失的轨迹优先匹配，丢失最久的最后匹配。

论文中关于运动模型权重λ的取值：当相机运动明显时，设置λ=0是合理的选择。因为匀速运动模型在相机抖动时失效，马氏距离不再可信，但仍有作用：通过阈值矩阵（Gate Matrix）对代价矩阵进行限制。

常见问题： DeepSORT中的马氏距离是否总是有用？
答案： 不。如果相机运动明显，匀速模型不准确，马氏距离会误导匹配。此时通常将其权重设为0，仅用外观特征。但马氏距离仍可用于阈值筛选，排除明显不合理的匹配。

关于DeepSORT的详细代码解读，推荐阅读知乎专栏目标跟踪初探（DeepSORT）。卡尔曼滤波具体推导可参考Kalman Filter 卡尔曼滤波。

06 改进策略：从DeepSORT出发的思考

基于DeepSORT的流程图，我们可以思考几个改进方向：

1. 融合Re-ID网络和检测网络：实现精度与速度的平衡。
2. 引入轨迹评分机制：时间越长的轨迹可信度越高，优先匹配。
3. 用预测框弥补漏检：利用良好追踪产生的预测框来补充检测缺失。
4. 寻找更好的运动模型：解决相机运动下匀速模型失效的问题。

07 最新进展：近期优秀算法

工业界青睐的算法（如速度快的）在学术界往往不受重视，因为顶会论文通常追求高精度，使用复杂模块和针对数据集的trick。以下介绍两篇代表性工作：

MOTDT（Real-Time Multiple People Tracking With Deeply Learned Candidate Selection And Person Re-ID）

MOTDT基于DeepSORT改进，核心创新点：

• 引入了轨迹评分机制：时间越久，轨迹可信度越高。
• 将预测框和检测框放在一起进行NMS（非极大值抑制），用预测弥补漏检。

具体地，在NMS之前，通过区域选择网络R-FCN和轨迹评分机制产生统一的置信度，作为NMS的输入。

详细翻译可参考《Real-Time Multiple People Tracking With Deeply Learned Candidate Selection And Person Re-ID》论文翻译。

JDE（Towards Real-Time Multi-Object Tracking）

JDE基于YOLOv3和MOTDT，将检测与嵌入特征提取融合到一个网络中。主要特点：

• 在特征图中额外提取一个嵌入（embedding）向量。
• 使用类似交叉熵的triplet loss进行多任务学习。
• 采用自动学习损失权重方案，平衡检测和Re-ID的损失。

最终结果：精度与SOTA相当，但帧率（FPS）大幅提升。

详细翻译可参考《Towards Real-Time Multi-Object Tracking》论文翻译。

08 未来展望

近期一篇多目标跟踪综述指出，未来方向之一是用深度学习来指导关联问题。当前基于检测的MOT，检测和Re-ID模块都用深度学习，但最核心的数据关联模块仍主要依靠匈牙利算法等传统方法。虽然已有尝试用RNN，但速度慢、效果不佳。

个人认为，短期内解决实际问题，更靠谱的途径是从Re-ID入手，思考如何提取更有效的特征。用深度学习处理数据关联并非易事，需要长期探索。

参考文献

[1] Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos, and Ben Upcroft. Simple online and realtime tracking. In2016 IEEE International Conference on Image Processing (ICIP), pages 3464–3468. IEEE, 2016.

[2] Nicolai Wojke, Alex Bewley, and Dietrich Paulus. Simple online and realtime tracking with a deep associationmetric. In2017 IEEE International Conference on Image Processing (ICIP), pages 3645–3649. IEEE, 2017.

[3] Chen Long, Ai Haizhou, Zhuang Zijie, and Shang Chong. Real-time multiple people tracking with deeplylearned candidate selection and person re-identification. InICME, 2018.

[4] Zhongdao Wang, Liang Zheng, Yixuan Liu, Shengjin Wang. Towards Real-Time Multi-Object Tracking. arXiv preprint arXiv:1909.12605

[5] Gioele Ciaparrone, Francisco Luque Sánchez, Siham Tabik, Luigi Troiano, Roberto Tagliaferri, Francisco Herrera. Deep Learning in Video Multi-Object Tracking: A Survey. arXiv preprint arXiv:1907.12740

编辑：黄飞

希望通过本教程，你能系统性地理解多目标跟踪的全貌，从基础概念到前沿算法，再到未来趋势。记住：先见森林，再见树木；从全局出发，再深入细节。如果你有任何疑问或想讨论具体算法，欢迎交流。