Wave Forcing, H200 8장으로 초당 134프레임 실시간 장편 영상 생성…SJTU DENG Lab
중국 SJTU의 DENG Lab 연구진이 긴 영상을 실시간으로 끊김 없이 만들어 내는 생성 기법 'Wave Forcing(WF)'을 공개했다. Yijie Jin 등 연구자 10명이 arXiv에 올린 논문 「Wave Forcing: Towards Speed-of-Light Streaming Video Generation」에 따르면, 이 기법은 H200 GPU 8장에서 영상 생성부터 최종 출력까지 초당 134.8프레임을 처리했다. GPU 1장을 쓸 때보다 처리량이 7.07배 많다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 40회를 받았다.
실시간 장편 영상 생성은 등장 대상의 겉모습을 일정하게 유지하고 움직임도 자연스럽게 이어 가면서 화면을 쉬지 않고 내보내야 하는 기술이다. 지금까지는 영상을 일정 길이의 조각(청크)으로 나누고 앞 조각을 바탕으로 다음 조각을 만드는 '청크 단위 자기회귀' 방식이 주로 쓰였다. 연구진은 이 방식이 효율과 품질 두 측면에서 모두 한계가 있다고 지적했다. 노이즈를 걷어내는 디노이징과 이전 정보를 담는 히스토리 캐시 갱신을 차례로 처리해야 하므로, 디노이징을 한 단계로 줄여도 모델을 두 번 돌려야 한다. 또 영상이 길어질수록 화질이 떨어지고 카메라 시점이 의도와 달리 조금씩 흘러가는 '카메라 드리프트'가 생긴다.
WF는 생성 방식과 학습, 실행 환경을 함께 설계해 여러 단계의 디노이징을 거치면서도 영상을 끊김 없이 출력하도록 했다. 먼저 '청크 단위 인과 어텐션'을 써서, 앞 조각의 디노이징이 다 끝나기 전에도 노이즈가 더 많이 걷힌 이전 조각을 참조할 수 있게 했다. 이어 서로 다른 시점에 있는 디노이징 단계와 캐시 갱신 단계를 모델 전체의 복제본 여러 개에 나눠 맡겼다. 공장 조립 라인처럼 파이프라인이 한 번 채워지면, 동시에 진행되는 순전파 한 라운드마다 출력 조각이 하나씩 나온다. 연구진은 이를 '1F1C'라고 불렀다.
학습은 세 단계로 나눴다. 노이즈 수준이 서로 다른 조각이 섞인 상태에서 디노이징하는 법을 먼저 익히고, 다음으로 움직임에 대한 지도 학습을 더했다. 마지막으로 모델이 직접 만든 이전 영상을 바탕으로 인과적 생성 과정에 적응하도록 했다. 실행 환경으로는 'Wave Runtime(WaveRT)'을 따로 만들었다. 이 환경의 핵심인 'Wave Parallelism(WP)'은 어텐션 연산에 쓰이는 K/V 값을 미리 넘겨주고, GPU 간 통신과 연산이 동시에 진행되도록 겹쳐 처리한다. 여기에 최적화한 커널과, 결과물을 실제 영상으로 바꾸는 VAE 디코딩의 파이프라인 처리를 더했다.
실험은 Wan2.1-T2V-1.3B 모델로 진행했다. 디노이징을 5단계로 한 WF는 기존 기법인 Rolling Forcing과 비슷한 전반적 품질을 유지하면서, 짧은 영상과 긴 영상 모두에서 움직임의 크기를 나타내는 Dynamic Degree 지표가 더 높았다. 정지된 화면에 가까운 결과를 내는 대신 움직임이 더 살아 있는 영상을 만들었다는 의미다. 속도 실험에서는 4단계 WF가 H200 GPU 8장에서 확산 트랜스포머(DiT) 기준 초당 147.6프레임, 종단 간 기준 초당 134.8프레임을 기록했다.
병렬화 방식만 따로 비교한 실험도 있다. 연구진은 SageAttention과 W8A8 백엔드, 디노이징 단계 수, GPU 수를 똑같이 맞추고 DiT 연산만 측정했다. 그 결과 WP는 기존 문맥 병렬화 기법인 Ulysses와 Ring 가운데 더 빠른 쪽과 비교해 처리량이 최대 2.53배였다. 이 결과는 13억(1.3B)에서 140억(14B) 파라미터까지 6가지 크기의 모델에서 확인됐다.
논문 번호는 arXiv:2611.00859다. 동료평가를 거치지 않은 사전공개 논문이며, 이 기사는 저자들이 공개한 초록을 바탕으로 정리했다.
