Gemini Omni 1.2 Flash, LMArena 영상 생성 1위… 구글 모델이 1~3위 차지
구글의 영상 생성 모델 Gemini Omni 1.2 Flash가 LMArena 영상 생성 부문 리더보드에서 1위에 올랐다. 11월 5일 발표된 LMArena 리더보드 자료(lmarena-ai/leaderboard-dataset)에 따르면 Gemini Omni 1.2 Flash는 1,742표를 받아 점수 1541을 기록했다. 직전 발표의 1위도 구글 모델인 gemini-omni-1.1-flash였다. 같은 회사 안에서 1위 모델이 새 버전으로 바뀐 것이다.
이번 발표에서는 상위 3위를 모두 구글 모델이 차지했다. 이번에 새로 집계된 Gemini Omni 1.1 Flash는 1,803표를 받아 집계되자마자 2위에 올랐다. 이번 발표 상위 10개 모델 가운데 가장 많은 표다. 3위는 구글의 gemini-omni-flash가 지켰다. 구글은 Gemini Omni 계열 모델 세 개로 영상 생성 부문 최상위권을 채웠다.
새로 집계된 다른 모델들도 상위권에 바로 들어왔다. bfl의 FLUX 3 Video는 1,321표로 4위, xAI의 Grok Imagine Video 1.5는 1,260표로 5위에 올랐다. 이번에 새로 집계된 모델 세 개(Gemini Omni 1.1 Flash, FLUX 3 Video, Grok Imagine Video 1.5)가 모두 첫 집계에서 5위 안에 든 셈이다. 그만큼 영상 생성 부문 상위권은 새 모델이 나올 때마다 크게 바뀌고 있다.
6위부터 10위는 여러 회사 모델이 나눠 가졌다. 바이트댄스는 Dreamina Seedance 2.0 (720p)이 6위, Dreamina Seedance 2.5 (720p)가 7위에 올라 두 모델을 10위 안에 넣었다. 8위는 알리바바의 Wan 3.0, 9위는 skyreel의 SkyReels V4, 10위는 메타의 Muse Video다. 회사별로 보면 상위 10위 안에 구글이 3개, 바이트댄스가 2개, bfl·xAI·알리바바·skyreel·메타가 1개씩 모델을 올렸다. 미국 빅테크와 중국 기업, 영상·이미지 생성 전문 기업이 함께 상위권을 나눠 가진 구도다.
LMArena(옛 Chatbot Arena)는 AI 모델의 이름을 가린 채 이용자가 두 모델의 결과물을 비교해 더 나은 쪽에 투표하고, 이 투표를 모아 순위를 매기는 평가 플랫폼이다. 영상 생성 부문에서는 같은 요청으로 만든 영상 두 편을 보고 이용자가 더 나은 쪽을 고른다. 점수는 체스 등에서 쓰는 Elo 계열 방식으로 투표 결과를 바탕으로 추정한 값이다. 정해진 시험 문제로 매기는 벤치마크와 달리, 실제 사람이 결과물을 보고 무엇을 더 좋아했는지가 반영된다는 점이 특징이다.
다만 이 점수는 추정치여서 오차 범위가 있다. 점수 차가 작으면 실제 성능 차이로 단정하기 어렵다. 같은 순위가 매겨진 모델은 LMArena가 통계적으로 우열을 가리지 못한 경우다. 이번에 새로 집계된 모델들은 1,200~1,800표 수준의 투표를 바탕으로 순위가 매겨졌다. 앞으로 투표가 더 쌓이면 순위가 달라질 수 있다. 따라서 이번 순위는 '어느 모델이 확실히 더 뛰어나다'는 판정보다는 현재 이용자 선호가 어느 쪽으로 기울어 있는지 보여주는 지표로 읽는 편이 적절하다.
이번 리더보드 자료는 CC BY 4.0 라이선스로 공개돼 있다.
