英伟达人工智能研究团队近期推出了NitroGen——一个为通用游戏智能体设计的开源视觉-动作基础模型。该模型能够直接从在线游戏视频中学习，通过分析画面与手柄操作信号，掌握各类商业游戏的玩法机制。整个训练过程累计消耗了约4万小时真实的玩家交互数据，覆盖超过1000款游戏，并同步开源了高质量数据集、跨游戏通用模拟器以及预训练策略权重。

构建NitroGen数据集的起点是大量公开可获取的游戏实况视频，其中包含了带有清晰手柄操作可视化叠加层的画面。研究团队共采集原始视频约7.1万小时，经过严格质量筛选后保留了4万小时高保真片段，覆盖来自818名内容创作者的38,739条视频。统计显示，这些视频涉及846款不同游戏：其中动作角色扮演类占比最高，达总游戏时长的34.9%；平台跳跃类占18.4%；动作冒险类占9.2%；其余则分布于体育、Roguelike、竞速等多种游戏类型中。

在动作信号提取环节，NitroGen设计了一套三阶段精细化解析流程：首先，利用300种常见手柄布局模板精准定位视频中的控制器叠加区域；其次，调用基于SegFormer架构的语义分割模型对叠加层进行像素级识别与分类；最后，对识别出的按键坐标与摇杆偏移量执行亚像素级校准。这套流程显著提升了动作还原精度，为大规模行为克隆提供了坚实支撑。

与此同时，NitroGen集成了一款轻量级通用模拟器，可将任意Windows平台商业游戏无缝封装为Gymnasium兼容接口，支持毫秒级帧同步交互，且完全无需修改原游戏二进制或源码。这一设计极大增强了策略模型的跨游戏泛化能力。

在模型架构层面，NitroGen采用Diffusion Transformer作为核心策略网络，在256×256分辨率RGB输入图像上端到端建模视觉-动作映射关系。完成预训练后，模型在从未见过的新游戏中展现出优异的零样本迁移能力，任务完成率稳定维持在45%至60%区间。进一步实验表明，相较于从零开始训练，使用NitroGen预训练权重进行微调，可在新游戏上实现最高达52%的性能增益。

源码地址：点击下载