NVIDIA开源游戏AI模型NitroGen：通用型AI生成工具详解
英伟达人工智能研究团队近期推出了NitroGen——一个为通用游戏智能体设计的开源视觉-动作基础模型。该模型能够直接从在线游戏视频中学习，通过分析画面与手柄操作信号，掌握各类商业游戏的玩法机制。整个训练过程累计消耗了约4万小时真实的玩家交互数据，覆盖超过1000款游戏，并同步开源了高质量数据集、跨游戏通用模拟器以及预训练策略权重。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
构建NitroGen数据集的起点是大量公开可获取的游戏实况视频，其中包含了带有清晰手柄操作可视化叠加层的画面。研究团队共采集原始视频约7.1万小时，经过严格质量筛选后保留了4万小时高保真片段，覆盖来自818名内容创作者的38,739条视频。统计显示，这些视频涉及846款不同游戏：其中动作角色扮演类占比最高，达总游戏时长的34.9%；平台跳跃类占18.4%；动作冒险类占9.2%；其余则分布于体育、Roguelike、竞速等多种游戏类型中。
在动作信号提取环节，NitroGen设计了一套三阶段精细化解析流程：首先，利用300种常见手柄布局模板精准定位视频中的控制器叠加区域；其次，调用基于SegFormer架构的语义分割模型对叠加层进行像素级识别与分类；最后，对识别出的按键坐标与摇杆偏移量执行亚像素级校准。这套流程显著提升了动作还原精度，为大规模行为克隆提供了坚实支撑。
与此同时，NitroGen集成了一款轻量级通用模拟器，可将任意Windows平台商业游戏无缝封装为Gymnasium兼容接口，支持毫秒级帧同步交互，且完全无需修改原游戏二进制或源码。这一设计极大增强了策略模型的跨游戏泛化能力。
在模型架构层面，NitroGen采用Diffusion Transformer作为核心策略网络，在256×256分辨率RGB输入图像上端到端建模视觉-动作映射关系。完成预训练后，模型在从未见过的新游戏中展现出优异的零样本迁移能力，任务完成率稳定维持在45%至60%区间。进一步实验表明，相较于从零开始训练，使用NitroGen预训练权重进行微调，可在新游戏上实现最高达52%的性能增益。
源码地址：点击下载
热门专题
热门推荐
4月3日消息，今日，OPPO官微宣布，OPPO Find X9s Pro将首发新一代1nit明眸护眼屏，宣称全场景都护眼。据悉，这块屏幕来自新一代天马天工屏，搭载全新U9 Pro发光基材，从材料、器
Word行距异常增大可按五步解决：一、重置段前段后间距为0并设单倍行距；二、改用固定值行距（如小四号设18磅）；三、清除样式继承并修复Normal模板；四、禁用自动格式更正干扰项；
汽车4月3日消息，4月3日，“年轻人第一台GT”比亚迪2026款海豹06GT新车交付仪式在深圳举行，作为海洋网又一搭载第二代刀片电池和最新闪充技术的重磅车型，上市售价12 89万元-16 99万元，
汽车4月3日消息，广汽埃安宣布将于 4 月 16 日举办品牌焕新发布会，埃安 N60 汽车将同步开启预售。目前新车已开启盲订，支付 99 元定金可享价值 5088 元礼遇。该车由曾任职于宝马等品牌的
4月5日消息，一起教育科技(NASDAQ: YQ)日前发布截至2025年12月31日的财报。财报显示，一起教育科技2025年营收为1 06亿（约1520万美元），较上年同期的1 89亿元下降44%。