英偉達研究團隊日前正式開源發佈了全新的基礎模型NitroGen。官方介紹，NitroGen 是一個統一的視覺到行動模型，可以直接從原始幀中玩遊戲。並且能做到將視頻遊戲幀作為輸入，同時輸出遊戲手柄操作。

作為一款以“玩遊戲”為核心訓練目標的模型，NitroGen涵蓋了包括《巫師3》、《賽博朋克2077》在內的1000多款不同類型的遊戲，橫跨RPG、賽車、吃雞及2D/3D等多種形態。

NitroGen的誕生並非為了打造更強的“遊戲AI”，而是旨在探索一種更普適的具身智能訓練範式，即在大規模模擬環境中，學習跨物理規則的通用運動控制能力。

研究團隊發現，最初為機器人場景設計的GR00T N1.5，在幾乎不做修改的情況下，即可在機制差異極大的遊戲任務中展現出驚人的適配力。

NitroGen的關鍵包括一個4萬+ 小時、高質量、來自真實世界的公開視頻遊戲數據集，一個用於連續運動控制、能力極強的基礎模型，以及一個Gym API，可以把任何遊戲二進制程序封裝起來跑rollout。

其中數據集包含800多款遊戲，每款遊戲的數據時長均超過1小時，還有15款遊戲的數據時長均超過1000小時。而且NitroGen是全棧開源，包括預訓練權重、完整動作數據集、訓練與推理代碼，以及一份技術細節充分的白皮書。

項目主頁：https://huggingface.co/nvidia/NitroGen