SpecSlot, 연산은 줄이고 화질은 지킨 픽셀 공간 이미지 생성 Transformer
글로벌 어텐션에 드는 계산을 늘리지 않으면서 이미지의 세밀한 디테일을 표현하는 픽셀 공간 이미지 생성 모델이 나왔다. Jiongfan Yang 등 연구진 5명이 arXiv에 공개한 논문 「Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers」에 따르면, 연구진이 제안한 'SpecSlot'은 비교 모델보다 연산량을 최대 40% 가까이 줄이면서도 비슷하거나 더 나은 생성 품질을 냈다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 36회를 받았다.
연구진이 문제로 꼽은 것은 픽셀 공간 생성 Transformer의 토큰 구조다. 이런 모델은 보통 이미지 패치 하나를 토큰 하나로 다룬다. 그래서 더 세밀한 디테일을 담으려면 토큰을 늘려야 하고, 토큰이 늘수록 이미지 전체를 한꺼번에 살피는 글로벌 어텐션 비용도 커진다. 해상도와 화질을 높이려 할수록 계산 부담이 커지는 셈이다.
연구진은 디테일이 많아진다고 해서 이미지 전체에 걸친 정보 교환이 꼭 더 필요한 것은 아니라는 점에 주목했다. 이미지의 큰 윤곽과 구도에 해당하는 저주파 구조는 전역적인 정보 교환이 도움이 되지만, 질감이나 경계선 같은 고주파 디테일은 주변 영역만 보고도 모델링할 수 있다는 것이다.
이 관찰을 바탕으로 만든 SpecSlot은 정류 흐름(rectified flow) 방식의 픽셀 공간 Transformer다. 출력 디테일의 수준과 글로벌 어텐션 시퀀스의 길이를 서로 떼어 놓은 것이 핵심이다. 모델은 공간상의 기준점(앵커) 하나를 여러 개의 '슬롯'으로 나누고, 슬롯마다 이산 코사인 변환(DCT) 계수의 주파수 대역을 겹치지 않게 하나씩 맡긴다. 이렇게 하면 앵커를 얼마나 촘촘히 둘지와 주파수를 얼마나 잘게 나눌지를 따로 정할 수 있다.
글로벌 어텐션에는 앵커마다 가장 낮은 주파수를 맡은 슬롯 하나만 참여하고, 슬롯 전체는 국소적으로만 상호작용한다. 그래서 주파수 디테일을 늘려도 글로벌 시퀀스 길이는 그대로다. 여기에 공간 헤드가 주파수 기반 예측에 국소 보정을 더한다. 생성 상태와 학습 목표, 손실 함수는 모두 픽셀 공간에 그대로 둬서, 별도의 잠재 공간을 거치지 않는 픽셀 공간 생성 방식의 틀은 유지했다.
성능은 기존 픽셀 공간 모델 JiT와 비교해 검증했다. ImageNet-256에서는 연산량(FLOPs)을 맞춘 JiT 대조 모델과 최종 FID가 비슷했고, 수렴은 더 빨랐다. ImageNet-512에서는 대조 모델보다 연산량이 3.9% 적은데도 FID를 2.84 개선했다. 더 큰 모델인 JiT-B/16과 비교하면 비용은 38.2% 낮으면서 FID 차이는 0.69에 그쳤다. FID는 생성된 이미지가 실제 이미지 분포와 얼마나 가까운지를 나타내는 지표로, 낮을수록 좋다.
텍스트로 이미지를 만드는 작업에서도 결과가 나왔다. SpecSlot은 순전파 비용이 40.6% 낮은 상태에서 DPG-Bench 점수가 JiT-B/8보다 1.06 높았다. 해상도가 높은 이미지와 텍스트 기반 생성에서 품질을 유지하면서 계산 비용을 줄일 수 있다는 점을 보여준 결과다.
논문 번호는 arXiv:2610.40647이다. 이 내용은 저자들이 공개한 초록을 바탕으로 정리한 것이며, 논문은 동료평가를 거치지 않은 사전공개 논문이다.
