Kling 개발진, 'AI 영상 품질은 멀티모달 이해력에서 나온다'…KlingAI Research 53명 논문 공개
영상 생성 AI 'Kling'을 만든 연구진이 여러 세대에 걸쳐 모델을 개발하며 얻은 노하우를 논문으로 공개했다. 논문 사전공개 사이트 arXiv에 올라온 저자 초록에 따르면, Kling Team 등 KlingAI Research 소속 연구자 53명은 「Behind Video Generation: Observations and Insights on Multimodal Understanding from Kling」(arXiv:2611.04916)에서 영상 생성 품질을 좌우하는 것은 '멀티모달 이해'라고 주장했다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 39회를 받았다.
연구진은 먼저 업계 흐름을 짚었다. 영상 생성 기술은 따로따로 만들어지던 짧은 클립에서 소리와 화면이 함께 이어지는 짧은 영상 시퀀스로 발전했다. 그러면서 기술의 병목이 화면을 그려내는 '렌더링'에서, 사용자가 원하는 의미대로 영상을 통제하는 '의미 제어'로 옮겨가고 있다는 것이 연구진의 진단이다. 연구진은 생성 품질이 데이터, 조건 입력, 정렬, 평가로 이어지는 전체 과정에 멀티모달 이해가 투영된 결과라고 보고, 이 과정을 단계별로 나눠 살폈다.
중심에는 'Kling-MLLM'이 있다. 이미지, 영상, 오디오, 음성과 영상이 맞물린 입력, 여러 형식이 섞인 입력까지 한 모델에서 다루는 공용 멀티모달 기반 모델로, 각 단계에 맞게 특화해 쓰인다.
첫 단계는 캡션(영상 설명문)이다. 연구진은 영상 생성에 쓰이는 DiT(디퓨전 트랜스포머) 모델이 언어 모델보다 훨씬 적은 학습 샘플로 훈련된다는 점에 주목했다. 그래서 캡션을 일종의 '의미 계약'으로 다루고, 한 문장에 담기는 묘사의 밀도를 최대한 높이는 방향으로 설계했다. 여기서 더 나아가 참조 이미지나 영상과 설명이 어떻게 연결되는지를 명시하는 '참조 기반 캡션'도 도입했다.
사용자가 입력한 문장을 이런 캡션 형식으로 바꿔주는 '프롬프트 강화(PE)'도 두 갈래로 소개했다. 기본 PE는 완성도 높은 영상의 캡션에서 출발하고, 텍스트 수준의 강화학습과 실제 영상 생성기를 학습 과정에 넣은 강화학습으로 다듬는다. 에이전트형 PE는 이야기 구성을 손보고 참고할 만한 좋은 예시를 찾아오는 역할을 맡는다. 결국 사용자가 짧게 적은 의도를 모델이 가장 잘 알아듣는 형태로 옮겨주는 장치다.
텍스트 인코더를 두고는 눈에 띄는 결론을 내놨다. 믿을 만한 텍스트 인코더는 언어 능력을 키워서가 아니라 지각(perception) 학습을 통해 얻어진다는 것이다. 또 전체 모델을 끝까지 학습시키기 전에 텍스트만으로 후보 인코더를 미리 걸러낼 수 있다고 밝혔다. 비용이 큰 영상 모델 학습에 들어가기 전에 시행착오를 줄일 방법을 제시한 셈이다.
보상 모델은 두 가지를 짝지었다. 일반 보상 모델은 영상의 어느 부분이 왜 문제인지 설명하는 국소적 비평을 내놓고, 의사결정 보상 모델은 여러 기준에 걸친 점수를 빠르게 매긴다. 연구진은 보상 모델이 영상을 얼마나 촘촘히 지각할 수 있는지, 이른바 '지각 대역폭'을 핵심 설계 변수로 다뤄야 한다고 강조했다.
마지막으로 과제별 자동 평가 방식을 검토했다. 모델이 점수만 잘 받는 지름길을 드러내고, 실패 원인을 앞 단계 어디에서 비롯됐는지 추적할 수 있는 평가 방식에 초점을 맞췄다.
연구진은 이 경험들이 제어 가능한 영상 생성을 뒷받침하는 '이해 스택'을 만드는 데 실용적인 길잡이가 되길 바란다고 밝혔다. 새 모델의 성능을 내세우기보다 영상 생성기 뒤에서 작동하는 캡션, 프롬프트, 인코더, 보상, 평가 체계의 설계 원칙을 정리한 보고서라는 점이 특징이다. 이번 논문은 동료평가를 거치지 않은 사전공개 논문이며, 원문은 arXiv(https://arxiv.org/abs/2611.04916)에 공개돼 있다.
