Gamer, 키보드·마우스 조작을 배워 3D 오픈월드 게임을 플레이하는 범용 AI 에이전트

키보드와 마우스를 사람처럼 직접 조작하며 2D 게임과 3D 오픈월드 게임을 오래 이어서 플레이하는 범용 인공지능(AI) 에이전트가 나왔다. Run Luo 등 연구진 27명은 사전공개 논문 저장소 arXiv에 「Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent」 논문(arXiv:2611.18397)을 올렸다. 저자들이 공개한 초록에 따르면 'Gamer'는 여러 3D 오픈월드 게임에서 숙련된 플레이어에 견줄 만한 조작 효율을 보였다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에도 올랐다.
Gamer는 시각·언어·행동(VLA)을 하나로 묶은 파운데이션 모델이다. 복잡한 상호작용 환경에서 긴 호흡이 필요한 과제를 수행하도록 설계됐다. 화면을 인식하는 일, 기억을 관리하는 일, 여러 단계로 추론하는 일을 하나의 엔드투엔드 구조에서 처리한다. 학습과 배포는 같은 파이프라인을 쓰고, 이 파이프라인 하나로 일반적인 2D 그래픽 인터페이스와 복잡한 3D 시뮬레이션 세계를 모두 다룬다.
학습은 몇 단계로 이뤄졌다. 연구진은 먼저 장치 수준의 키보드·마우스 입력 기록 수만 시간 분량으로 데이터셋을 만들어 모델을 추가 사전학습시켰다. 이 기록에는 시뮬레이션 게임과 체화(embodied) 환경이 함께 들어 있어, 모델이 물리 세계와 가상 세계 양쪽의 환경 변화 규칙을 익히게 했다는 설명이다. 다음 단계는 '희소 사고(sparse-thinking)' 지시 튜닝이다. 매 순간 길게 추론하지 않고 꼭 필요한 때만 생각하도록 해서, 복잡한 판단에 필요한 추론은 지키면서 쓸데없는 연산을 크게 줄였다.
마지막으로 연구진은 안정적인 다중 턴 강화학습으로 행동 정책을 훈련했다. 게임을 오래 하는 에이전트가 흔히 부딪히는 문제가 세 가지 있다. 모델이 한 번에 볼 수 있는 맥락 길이에 한계가 있다는 점, 시행(롤아웃) 중 생긴 작은 오류가 계속 쌓인다는 점, 보상이 드물게 주어진다는 점이다. 이 강화학습 방법은 이 세 가지를 겨냥했다.
실시간 플레이를 위한 장치도 따로 갖췄다. 연구진이 만든 클라우드-엣지 추론 엔진은 시뮬레이션 게임 환경 여러 개를 동시에 돌리고, 맥락 길이 제한 없이 실행을 이어 가면서도 온라인 추론 지연 시간을 낮게 유지한다. 반응 속도가 승패를 가르는 게임에서 모델 성능만큼 중요한 부분이다.
성능 면에서 Gamer는 까다로운 3D 오픈월드 게임 여러 편에서 안정적인 일반화 능력을 보였고, 기존 2D 게임 벤치마크 여러 개에서도 경쟁력 있는 결과를 냈다고 연구진은 밝혔다. 연구진이 강조하는 점은 데이터의 성격이다. 반복적인 키보드·마우스 입력 기록만으로도 데이터와 학습 알고리즘을 키우면 성능이 크게 오를 수 있다는 것이다. 이런 기록으로 학습한 덕분에 물리적 속성과 디지털 속성이 섞인 환경에서도 복잡한 기술을 더 꾸준히 익혔다고 덧붙였다. 연구진은 이 방식이 디지털 세계와 물리 세계를 오가는 범용 에이전트로 가는 길이 될 수 있다고 봤다.



