TTB, 3D 복원 없이 새 시점 이미지 렌더링 최대 23배 가속…NVIDIA 연구진 논문

NVIDIA 연구진이 3D 형상을 복원하지 않고 신경망만으로 새로운 시점의 장면 이미지를 만들어 내는 모델의 렌더링 속도를 크게 높이는 기법 「TTB(Test-time Baking)」를 내놨다. Chin-Yang Lin 등 9명은 arXiv에 「TTB: Test-time Baking for Efficient Rendering of Decoder-only View Synthesis Models」 논문을 공개했다. 초록에 따르면 이 방법은 여러 벤치마크에서 최신 기술과 비슷한 품질을 유지하면서 렌더링 속도를 최대 23배 높였다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 25회를 받았다.
연구 대상은 '새 시점 합성(novel view synthesis)'이다. 몇 장의 사진을 입력하면 카메라가 찍지 않은 각도에서 본 장면을 만들어 내는 기술이다. 최근에는 장면의 3D 형상을 따로 복원하지 않고 신경망이 새 시점 이미지를 바로 출력하는 방식이 주목받고 있다. 논문은 그중에서도 KV 캐시를 쓰는 디코더 전용 대형 시점 합성 모델(LVSM)이 최고 수준의 품질을 냈다고 짚는다. 이런 모델은 입력 이미지들 사이의 관계를 '교차 시점 어텐션(cross-view attention)'으로 계산하는데, 연산량이 많아 렌더링이 느려진다. 이 연산을 줄이려고 어텐션 자리에 테스트 시점 학습(TTT) 레이어를 넣는 방법도 나왔지만, 계산은 줄어드는 대신 품질이 떨어졌다. TTB는 품질과 속도 사이의 이 상충 관계를 풀겠다는 연구다.
이름에 들어간 '베이킹(baking)'은 장면 전체의 정보를 가벼운 다층 퍼셉트론(MLP)에 미리 구워 넣는다는 뜻이다. 연구진은 핵심 아이디어를 두 가지로 설명했다. 첫째, TTT의 '빠른 가중치(fast-weight)' MLP를 다르게 쓴다. 어텐션을 통째로 바꾸는 대신, 어텐션의 입력과 출력 쌍을 보고 교차 시점 어텐션이 하는 대응 관계를 MLP가 직접 배우게 했다. 그래서 렌더링 효율은 TTT와 같으면서 품질은 크게 높아졌다고 연구진은 밝혔다.
둘째는 입력 처리 단계와 새 시점 렌더링 단계 사이의 '모달리티 불일치' 문제다. 입력 이미지를 미리 처리하는 프리필링 단계와 새 시점을 그리는 단계는 다루는 정보의 성격이 다르다. 연구진은 입력 토큰을 둘로 나눴다. 카메라 정보만 담은 '렌더링 토큰'은 TTB의 입력으로 쓰고, 실제 이미지 내용을 담은 '정답 토큰'은 MLP가 맞춰야 할 목표로 쓴다. 이렇게 하면 베이킹된 MLP가 두 단계 사이의 차이까지 일반화해야 하는 부담을 덜 수 있다는 설명이다.
이 기법이 겨냥하는 지점은 분명하다. 고품질 새 시점 합성 모델은 시점을 바꿀 때마다 무거운 어텐션 연산을 반복해야 했다. TTB처럼 장면 정보를 가벼운 MLP에 담아 두면 같은 장면을 여러 각도에서 렌더링할 때 드는 비용이 크게 줄어든다. 최대 23배라는 속도 향상이 비슷한 품질에서 나왔다는 점도 연구진이 강조하는 대목이다.
논문 번호는 arXiv:2611.17331이고, 연구진은 별도의 프로젝트 페이지(test-time-baking.github.io)도 열었다. 이 내용은 저자들이 공개한 초록을 바탕으로 정리했으며, 논문은 동료평가를 거치지 않은 사전공개 논문이다.



