Video-Coder, 코드로 3D 장면 짜 영상 생성 정밀도 높인다…UCF 연구진 데이터·모델 공개
센트럴플로리다대학교(University of Central Florida) 연구진이 코드를 직접 짜고 실행해 3차원(3D) 장면을 만들고, 이를 영상 생성 모델에 밑그림으로 넘기는 AI 에이전트 'Video-Coder'를 내놨다. 논문 사전공개 사이트 arXiv에 올라온 논문 「Video-Coder: Reinforcing Agentic Coding for Video Generation」(arXiv:2611.09894)에 따르면, 이 에이전트를 쓰면 기존 영상 생성 모델의 벤치마크 점수가 크게 올랐다. 연구진은 데이터와 모델, 코드를 모두 공개한다고 밝혔다.
논문은 Chaoyang Wang 등 10명이 함께 썼다. 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서는 추천 15회를 받았다. 동료평가를 거치지 않은 사전공개 논문이다.
연구진이 이 방식을 내놓은 배경은 영상 생성 기술이 지닌 한계다. 논문은 최근 몇 년 동안 영상 생성 모델의 화질과 시간적 일관성은 눈에 띄게 좋아졌지만, 물체의 정확한 공간 배치나 자연스럽게 이어지는 움직임, 원하는 대로 장면을 구성하는 일은 여전히 어렵다고 짚었다. 화면을 그럴듯하게 그리는 능력과 장면의 구조를 정확히 맞추는 능력은 다르다는 것이다. 연구진은 이 간극을 코드로 메우려 했다. 사람의 지시문을 받으면 에이전트가 먼저 코드를 작성·실행해 움직이는 3D 장면을 만든다. 논문은 이것을 '초안 영상(Draft Video)'이라고 부른다. 이 초안이 뒤에 오는 영상 생성 모델에 구조와 움직임 정보를 넘겨주는 구조다. 연구진은 Video-Coder를 코드 기반 영상 생성 에이전트를 학습시킨 첫 시도라고 소개했다.
학습을 위한 기반도 직접 만들었다. 연구진은 전용 데이터 파이프라인을 설계하고 'Video-Coder-SFT-6k'와 'Video-Coder-RL-2k' 두 데이터셋을 구축했다. 두 데이터셋에는 다양한 지시문과 함께 정답 역할을 하는 참조 영상이 들어 있다. 이와 함께 코드 실행, 3D 장면 렌더링, 실행 결과 피드백을 하나로 묶은 대화형 환경 'Video-Coder Harness'를 개발해 에이전트 학습과 추론에 썼다.
학습은 두 단계로 진행됐다. 먼저 지도 미세조정(SFT)을 거친 뒤, 하네스 환경 안에서 에이전트형 강화학습을 했다. 강화학습 단계에서는 보상을 두 가지로 줬다. 하나는 코드가 제대로 실행되는지를 따지는 실행 기반 보상이고, 다른 하나는 만들어진 영상의 품질을 따지는 영상 기반 보상이다. 연구진은 여기에 '어닐링(annealing)' 학습 전략도 더했다. 학습이 진행될수록 실행 보상의 비중을 조금씩 줄여, 후반부에는 모델이 영상 보상에 더 기대도록 한 방식이다. 초반에는 코드가 돌아가게 만드는 기본기를 다지고, 후반에는 결과 영상의 질에 집중하게 하는 설계로 볼 수 있다.
실험 결과도 제시했다. 논문에 따르면 Video-Coder를 영상 생성 모델 Minimax-H3에 붙였을 때 물리 법칙 반영 정도를 평가하는 PhyGenBench에서 약 7점, VBench-2.0에서 24점가량 점수가 올랐다.
연구진은 이번 연구가 영상 생성 분야 코딩 에이전트의 개방형 토대가 되기를 바란다며 데이터와 모델, 코드를 모두 오픈소스로 공개한다고 밝혔다.
