2023年8月11日下午，APM部门在科创园二楼会议室举办了一场技术分享会，主题是DeepStream介绍。分享人实习生陶强民围绕英伟达深度学习软件栈、DeepStream工作原理、SDK目录结构以及功能特点四个模块，进行了详细讲解。整场会议分为内容分享和问题讨论两个环节，现场讨论气氛相当热烈。

先说第一个模块——英伟达深度学习软件栈。陶同学一上来就抛出一个很实在的观点：“开发是条艰难的路。”确实，面对五花八门的应用场景，既要选训练框架、设计模型结构，还得搞定数据集不够大、算法性能不优、跨平台部署不方便这些现实问题。想要高效地完成开发任务，做出高质量的应用程序，一套好用的开发工具几乎是刚需。这一部分，他重点介绍了SDK的基本情况和使用方法，算是给后续内容打了个底。

DeepStream 工作原理

第二个模块回到了视频流处理的经典流程：数据收集→预处理→模型推理→后处理→结果可视化。陶同学把这个常规流程讲清楚之后，接着展示了DeepStream自己的工作流程和整体结构，让大家对这套工具的运行机制有了更直观的认识。

DeepStream SDK 目录结构

这一部分，陶同学拿Jetson平台上的DeepStream 6.0.1版本目录做例子，重点拆解了几个核心部分，还举了示例文件来说明。他顺带介绍了SDK结构里的一些关键插件，并在实例环节把这些插件的作用串了一遍。最后附上了参考资源，方便大家后续深入。

DeepStream 功能特点

第四个模块，陶强民同学总结了DeepStream的几大功能特点：

（1）卓越的性能——在多个硬件平台上跑都有不错的表现；
（2）多编程选项——支持不同语言，甚至能用可视化工具直接完成部署；
（3）云原生支持——在嵌入式环境里构建Docker容器来落地应用；
（4）端到端部署——模型兼容性广，能快速适配各种场景；
（5）丰富实例——官方提供了大量现成的功能示例；
（6）图像编辑器Graph Compose——一个蛮好用的可视化编排工具。

问题讨论环节

Q：如何在应用程序中获取分析结果？
A：DeepStream允许通过API获取分析结果。可以在代码中编程处理，比如拿到检测对象的位置、类别、置信度等信息。如果需要可视化，也可以在视频中绘制边界框、标签等。

Q：DeepStream如何处理视频流中的物体跟踪？
A：通常先用目标检测模型检测出物体，再用跟踪算法进行持续追踪。常用的跟踪算法包括基于卡尔曼滤波的、SORT（Simple Online and Realtime Tracking）等。DeepStream提供了跟踪器接口，可以把适合自己需求的跟踪算法集成进来。

Q：可以在DeepStream中使用哪些预训练模型？
A：DeepStream支持TensorFlow、PyTorch等多种深度学习框架的预训练模型。可以根据任务需求选择合适的模型，也能按需做微调。

整场分享会在热烈的讨论中结束。干货不少，大家带着问题来，也带着答案走。希望会后各位能继续深挖DeepStream，为后续工作打好基础。