Open Vision Banana, 이미지 생성 모델을 시각 인식기로 바꾸는 방법 전부 공개
이미지를 만들도록 학습된 생성 모델을 사물 분할이나 깊이 추정 같은 시각 인식 작업에 쓰는 방법이 학습 데이터부터 코드까지 전부 공개됐다. 논문 사전공개 사이트 arXiv에 올라온 논문 「Open Vision Banana: A Fully Open Recipe for Generative Visual Perception」(arXiv:2611.15844)에서 Fundamental AI Lab at UTN 소속 Arpit Jadon 등 연구진 7명은 사전학습된 이미지 생성기를 여러 인식 작업을 한꺼번에 처리하는 시스템으로 바꾸는 방법 'Open Vision Banana(OVB)'를 발표했다. 연구진은 데이터셋 구축·처리 파이프라인, 학습·평가 코드, 최종·중간·제거 실험(ablation) 체크포인트까지 모두 내놓았다.
이 연구는 이미지 생성기가 그림을 만드는 능력 말고도 현실 세계에 대한 이해를 품고 있다는 최근 연구 흐름에서 나왔다. 앞서 나온 'Vision Banana'는 이 점을 활용해 시각 인식 작업을 '조건부 이미지 편집' 문제로 바꿔 풀었다. 입력 이미지를 정답이 담긴 이미지로 '편집'하게 하는 방식이다. 다만 Vision Banana는 데이터·가중치·코드·구현 세부를 공개하지 않았다. 다른 연구자가 결과를 검증하거나 그 위에서 연구를 이어가기 어려웠다는 뜻이다. OVB는 이 빈자리를 누구나 재현할 수 있는 방법으로 채우려는 시도다.
연구진은 일반화 성능을 좌우하는 설계 요소로 색상 인코딩, 프롬프트 설계, 파라미터 적응 방식, 작업 간 균형을 꼽았다. 이 요소들은 서로 얽혀 있어서, 따로 쓰면 도움이 되는 선택도 다른 선택과 합치면 오히려 성능을 떨어뜨릴 수 있다고 연구진은 설명했다. 좋은 기법을 하나씩 더하기만 해서는 답이 나오지 않는다는 얘기다.
성능 수치도 공개됐다. OVB는 가중치가 공개된 40억(4B)·90억(9B) 파라미터 기반 모델에서 출발해, 공개 데이터셋으로 만든 학습 쌍 210만~380만 개로 학습했다. 도로 장면 분할 벤치마크 Cityscapes의 제로샷 성능은 73.9 mIoU로, Vision Banana가 보고한 69.9 mIoU보다 높았다. 아핀 불변 깊이 추정에서는 최신 전용 모델과 비슷한 수준을 보였다. 해당 데이터로 학습한 비(非)제로샷 버전은 지시 표현 분할과 추론 분할에서 Vision Banana와 5점 안쪽까지 따라붙었지만, 인스턴스 분할에서는 격차가 더 컸다. 모든 모델은 기반 모델의 이미지 편집 능력도 대부분 유지했다.
연구진은 생성기 기반 인식 모델에 쓸 수 있는 테스트 시점 확장 기법 '레전드 앙상블(legend ensembling)'도 함께 내놓았다. 클래스와 색을 짝지은 범례를 여러 벌 바꿔 가며 같은 이미지를 분할한 뒤 결과를 다수결로 합치는 방식이다. 모델이 어떤 색을 어떤 클래스로 칠할지 흔들리는 문제를 바로잡는다. 재학습 없이도 mIoU가 Cityscapes에서 최대 8.7점, COCO-Object에서 최대 15.0점 올랐다.
이 논문은 허깅페이스 일일 논문 목록에서 추천 35회를 받았다. 동료평가를 거치지 않은 사전공개 논문이며, 원문과 프로젝트 웹사이트(openvisionbanana.github.io)는 공개돼 있다.
