영상을 편집 가능한 3D 장면으로 재구성하는 AI 에이전트, 아직 '움직임'은 못 따라한다… 홍콩대, 벤치마크 'CineRecon' 공개
홍콩대학교(The University of Hong Kong) 연구진이 AI 에이전트를 평가하는 벤치마크 'CineRecon'을 내놨다. 평가 대상은 영화·게임 영상을 보고 그 장면을 편집할 수 있는 동적 3D 장면으로 다시 만들어 내는 능력이다. 지알레이 왕(Jialei Wang) 등 연구진 9명은 사전공개 논문 저장소 arXiv에 관련 논문(arXiv:2610.16577)을 올렸다. 초록에 따르면 최신 모델 12종을 시험한 결과, 카메라·정적 요소·동적 요소라는 세 평가 차원에서 모두 실패 사례가 나왔다. 특히 피사체의 움직임과 피사체끼리의 상호작용은 가장 단순한 조건에서도 재현하기 어려웠다.
연구진은 참조 영상을 편집 가능한 3D 장면으로 재구성하는 작업을 영화 제작에 쓸 '통제 가능한 영상 생성'으로 가는 중요한 경로로 본다. 재구성된 장면은 고치고 다시 렌더링할 수 있는 일종의 시각적 대리물(proxy) 역할을 한다. 이 대리물이 있으면 장면 배치, 피사체 동작, 카메라 움직임을 하나하나 직접 조정할 수 있다는 것이 연구진의 설명이다. 결과물을 통째로 생성하는 대신 연출 요소를 명시적으로 다룰 수 있는 중간 단계를 만들자는 구상이다. CineRecon은 AI 에이전트가 이 중간 단계를 실제로 얼마나 잘 만들어 내는지 재기 위해 설계됐다.
벤치마크는 참조 영상 50편과 주석을 단 평가용 클립 360개로 이뤄졌다. 참조 영상은 영화, 실사 촬영 영상, 게임 화면에서 골랐다. 에이전트는 영상 전체를 받은 뒤 여러 도구로 장면을 구축하고, 애니메이션을 입히고, 렌더링하고, 결과를 다듬는 과정을 스스로 반복한다.
과제는 '프록시(Proxy)', '단순화(Simplified)', '상세(Detailed)' 세 가지 표현 설정으로 나뉜다. 뒤로 갈수록 형태와 외형을 더 정밀하게 재현해야 한다. 반면 공간 관계, 카메라 움직임, 피사체의 동작에 대한 요구 수준은 세 설정이 모두 같다. 연구진은 이렇게 설계해 두 가지를 확인하려 했다고 밝혔다. 정교한 외형이 필요 없을 때 에이전트가 영상 속 사건 자체를 재현할 수 있는지, 그리고 표현 요구가 높아지면 성능이 어떻게 달라지는지다.
평가는 체크리스트 방식이다. 영상에서 관찰할 수 있는 속성과 사건을 특정 대상, 특정 시점과 짝지어 목록으로 만들었다. 이어 비전-언어 모델이 심판을 맡아 같은 시점의 참조 영상 프레임과 렌더링 프레임을 비교한다. 비교 항목은 11개 범주이며, 이를 카메라 일관성, 정적 일관성, 동적 일관성의 세 차원으로 묶었다.
연구진은 12개 모델을 각 모델에 맞는 에이전트 하네스(agent harness, 모델이 도구를 쓰도록 연결해 주는 실행 환경)로 돌려 평가했다. 다만 초록에는 어떤 모델이 포함됐는지, 모델별 점수가 어땠는지가 나오지 않는다. 가장 눈에 띄는 결과는 외형을 거의 따지지 않는 프록시 설정에서도 움직임과 상호작용 재현이 어려웠다는 점이다. 이는 병목이 세밀한 그래픽 표현보다 '영상 속에서 누가 언제 무엇을 했는가'를 파악하고 3D 공간에 옮기는 단계에 있음을 시사한다.
이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 10회를 받았다. 아직 동료평가를 거치지 않은 사전공개 논문이며, 이 기사는 저자들이 공개한 초록 내용을 바탕으로 정리했다.