Nvidia 希望利用 NitroGen 为所有世界创建通用 AI 代理
内容摘要
Nvidia 发布了 NitroGen，这是一种新的开放视觉动作模型，旨在作为跨越不同虚拟环境的通用 AI 代理。该模型使用从 YouTube 和 Twitch 收集的 40,000 小时游戏视频进行训练，研究人员通过模板匹配和微调的 SegFormer 模型从可见的控制器叠加层中提取了玩家输入。NitroGen 基于 Nvidia 的 GR00T N1.5 机器人模型，首次证明了机器人基础模型可以在具有不同物理引擎和视觉风格的虚拟环境中作为通用代理运行，并能处理动作 RPG 和 Roguelikes 等多种类型。在不熟悉的游戏中，它的成功率比从头开始训练的模型高出 52%。研究团队已公开了数据集、模型权重、论文和代码。
(来源：The Decoder)