기사 검색

이슈부터 IT·AI·연예·게임까지, 메타브리프의 기사를 찾아보세요.

AI

StrideWorld, 비디오 월드 모델의 장면 왜곡과 명령 일관성을 재는 벤치마크


중국 상하이교통대(Shanghai Jiao Tong University) 연구진이 사용자 명령에 따라 생성된 장면 속을 돌아다니는 '인터랙티브 비디오 월드 모델'을 평가하는 벤치마크 'StrideWorld'를 내놨다. 이 벤치마크는 두 가지를 잰다. 카메라가 움직이는 동안 장면의 3차원 구조가 무너지지 않는지, 그리고 같은 명령이 매번 같은 만큼 움직이는지다. 추앙 왕(Chuang Wang) 등 연구진 12명이 사전공개 논문 저장소 arXiv에 올린 논문 「StrideWorld: Benchmarking Scene Rigidity and Action Consistency in Interactive Video World Model」에 따르면, 공개 모델들이 140개 시작 장면에서 만든 영상을 분석한 결과 한 모델을 뺀 나머지 모두가 카메라 이동 중에 장면을 변형시켰다.


인터랙티브 비디오 월드 모델은 '앞으로 가기'나 '왼쪽으로 돌기' 같은 사용자 명령을 받아, 생성된 장면을 탐색하는 영상을 이어서 만들어 내는 기술이다. 이 기술이 제대로 작동하려면 시점이 바뀌어도 장면이 원래 입체 구조를 지켜야 하고, 명령 하나하나가 늘 같은 효과를 내야 한다. 연구진은 기존 벤치마크가 이 성질을 평가하면서 기준을 '평가 대상 영상에 맞춰' 잡았다는 점을 문제로 꼽았다. 영상 자신의 프레임으로 장면을 재구성해 기준으로 쓰거나, 카메라 궤적을 명령 경로에 맞추되 축척은 자유롭게 조정하는 식이었다. 이렇게 하면 기준 자체가 영상의 오류를 따라가 버린다. 장면이 서서히 일그러지거나 이동 속도와 경로 길이가 달라져도 기준이 이를 흡수해 오류가 드러나지 않는다는 것이다.


StrideWorld는 평가할 움직임이 시작되기 전에 기준을 먼저 고정하는 방식으로 이 문제를 피했다. 장면이 형태를 유지하는지는 시작 시점 화면의 실제 3차원 형상(그라운드 트루스)과 비교해 판단한다. 명령의 일관성은 '보폭(stride)'이라는 개념으로 잰다. 보폭은 명령 하나가 만들어 내는 카메라 이동량을 말한다. 모델이 처음 몇 걸음을 움직일 때 보폭을 재고, 이 값으로 이후 걸음을 검사한다. 모델마다 다른 기준을 외부에서 들이대지 않고, 각 모델을 자기 자신의 걸음과 비교하는 구조다. 연구진은 카메라 움직임을 미리 알고 있는 렌더링 영상으로 측정 방식을 검증했고, 벤치마크 점수가 사람의 판단과도 일치했다고 밝혔다.


평가에서는 장면 왜곡 문제가 크게 드러났다. 같은 카메라 경로로 형태가 고정된 장면을 렌더링한 결과와 비교했을 때, 모델들이 만든 영상의 위치 어긋남은 최대 7.3배에 달했다. 명령 한 가지를 계속 유지할 때는 대부분의 모델이 일정한 속도를 지켰다. 하지만 여러 명령을 이어 붙인 경로에서는 몇몇 모델이 중간에 자주 멈춰 섰다. 끝까지 간 경로도 대부분 각 모델의 보폭으로 계산한 예상 위치와 다른 곳에서 끝났다. 경로 대부분을 예상 위치 가까이까지 가져간 모델은 추정한 장면 깊이에 맞춰 명령의 크기를 조정하는 두 모델뿐이었다.


연구진은 개선 방법도 하나 내놨다. 두 모델을 소량의 렌더링 영상 클립으로 미세조정했더니, 경로 중간에 멈추는 현상이 대부분 사라졌다. 사용자가 여러 명령을 조합해 장면을 탐색하는 실제 사용 환경에서 드러나는 약점을 비교적 적은 데이터로 줄일 수 있다는 결과다.


연구진은 코드와 데이터, 리더보드를 깃허브(https://github.com/chuangwang123/strideworld)에 공개했다. 논문은 허깅페이스 일일 논문 목록에서 추천 14회를 받았다. 논문 번호는 arXiv:2611.24408이며, 동료평가를 거치지 않은 사전공개 논문이다.