기사 검색

이슈부터 IT·AI·연예·게임까지, 메타브리프의 기사를 찾아보세요.

AI

Posterior Matching Distillation, 4단계 이미지 생성에서 다양성 지킨다…NVIDIA 논문


NVIDIA 소속 연구진이 이미지·영상 생성 모델을 적은 단계로 빠르게 돌리면서도 결과물의 다양성을 지키는 새 증류 기법을 내놓았다. 사전공개 논문 저장소 arXiv에 올라온 「Posterior Matching Distillation」(PMD) 논문에 따르면, 이 기법은 SDXL과 FLUX.2 [klein] 4B 두 모델에서 4단계 생성 방식 가운데 가장 좋은 FID 점수를 냈다. 논문은 Hidir Yesiltepe 등 4명이 썼고, 동료평가를 거치지 않은 사전공개본이다. 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서는 추천 34회를 받았다.


확산(diffusion) 모델은 노이즈를 여러 번에 걸쳐 조금씩 걷어내며 이미지를 만든다. 결과물의 품질은 높지만 단계가 많아 생성이 느리다. 이를 줄이려고 나온 것이 '확산 증류'다. 미리 학습된 큰 모델(교사)이 반복해서 거치던 샘플링 과정을 학생 모델이 몇 번의 연산만으로 따라 하도록 압축하는 방식이다. 그중 '분포 기반' 방법은 학생이 내놓는 결과의 분포를 교사의 분포에 맞추는 데 초점을 둔다.


문제는 이 분포 맞추기에 흔히 쓰는 역방향 KL(reverse-KL) 목적함수에 있다. 연구진은 이 목적함수가 교사 분포에서 가장 두드러진 모드, 곧 가장 흔한 형태의 결과를 좇는 '모드 추구' 성향이 있다고 짚었다. 그러다 보니 같은 프롬프트로 여러 장을 뽑아도 결과물이 비슷해지는 식으로 샘플 간 다양성이 줄어든다는 설명이다. 빠른 생성과 다양한 결과 사이에서 하나를 내줘야 했던 셈이다.


PMD는 분포 기반 증류 계열에 속하면서 이 한계를 겨냥한다. 연구진은 교사 분포의 여러 모드를 고르게 덮는 '모드 포괄형' 사후분포 샘플링에 원하는 단계 수로 생성하는 기능(any-step generation)을 결합했다. 논문에 따르면 손실이 0인 이상적인 상태에서 PMD는 학습한 각 노이즈 수준마다 교사가 가진 깨끗한 이미지의 사후분포 전체를 되살린다. 학생 모델이 확률적으로 동작하기 때문에 학습한 타임스텝 범위 안에서는 추가 학습 없이 샘플링 단계 수를 자유롭게 바꿀 수 있다.


학습 방식도 다르다. PMD는 노이즈가 섞인 같은 상태를 조건으로 학생이 뽑은 샘플들에 지수 가중치를 매겨 평균을 낸 뒤, 이를 그에 대응하는 교사의 사후 평균과 맞춘다. 연구진은 가우시안 노이즈 조건에서 이렇게 지수적으로 기울인 사후 평균을 입력값을 옮겨 교사 모델을 한 번만 돌려 구할 수 있다고 설명했다. 또 이 기울인 평균을 일정한 범위 전체에서 맞추면 사후분포 전체가 하나로 정해진다는 점을 수학적으로 증명했다고 밝혔다. 평균에 대한 여러 조건만으로 조건부 분포 전체를 학습시킬 수 있다는 뜻이다. 그래서 기존 일부 기법에 필요했던 학생용 보조 스코어 네트워크를 따로 두지 않아도 된다.


실험은 SDXL과 FLUX.2 [klein] 4B 두 모델에서 했다. PMD는 두 모델 모두에서 4단계 방식 가운데 가장 낮은, 곧 가장 좋은 FID를 기록했다. FID는 생성 이미지가 실제 이미지 분포에 얼마나 가까운지를 재는 지표로, 품질과 다양성을 함께 반영한다. 프롬프트를 얼마나 충실히 따르는지와 사람이 보기에 품질이 어떤지를 재는 지표에서도 경쟁 기법과 비슷하거나 앞서는 결과를 냈다고 연구진은 밝혔다.


이번 연구는 적은 단계로 빨리 생성하면 다양성이 떨어진다는 기존 증류 기법의 약점을 이론과 실험 양쪽에서 다뤘다. 따로 추가 학습을 하지 않아도 같은 학생 모델로 생성 단계 수를 조절할 수 있다는 점도 쓰임새를 넓히는 요소다. 논문 번호는 arXiv:2611.26629다.