엔비디아, 2주 새 '네모트론 3.5' 모델 잇달아 공개… IBM·미스트랄도 허깅페이스에 새 모델
엔비디아가 10월 7일부터 15일 사이 허깅페이스에 '네모트론(Nemotron) 3.5' 계열 모델을 연달아 올렸다. 같은 기간 IBM과 미스트랄도 새 모델을 공개했다. 허깅페이스에 올라온 각 기업 공식 계정의 모델 카드를 정리한 결과다.
가장 큰 모델은 10월 11일 공개된 'NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16'이다. 이미지와 텍스트를 함께 이해하는 모델이고, 모델 카드에 적힌 매개변수는 1,245억 개다. 기본 모델(Base) 버전도 함께 공개됐다. 엔비디아는 이 모델을 NVFP4 형식으로 양자화한 버전 2종도 같이 올렸다. NVFP4는 엔비디아의 4비트 데이터 형식이다. 같은 날 공개된 모델 목록에는 'Bolt-74B-A9B-24GB-LiLiCorr'와 Kimodo·ARDY 계열 모델 3종도 들어 있다. Kimodo 계열 2종의 매개변수는 2.8억 개로 표기됐다. 다만 이 모델들의 구체적인 용도는 확인되지 않았다. LiLiCorr 모델의 매개변수는 6.7억 개로 적혀 있는데, 이름에 붙은 '74B'와 차이가 크다. 이 숫자는 모델 카드 표기를 그대로 옮긴 것이다.
앞서 10월 7일에는 'NVIDIA-Nemotron-3.5-Bolt-74B-A9B' 2종이 먼저 나왔다. 이 역시 이미지·텍스트 이해 모델이다. 매개변수는 BF16 버전이 749억 개, '24GB' 버전이 224억 개로 표기됐다. 24GB 버전은 개인 PC에서 돌릴 수 있도록 GGUF 형식 양자화 버전도 함께 배포됐다. Super-VL과 Bolt 모두 지원 언어는 영어·스페인어 등 6개로 적혀 있다.
10월 15일에는 검색 결과의 순서를 다시 매기는 'Nemotron-3.5-Rerank-8B-BF16'(매개변수 83.8억 개)이 공개됐다. 지원 언어는 34개이고 여기에 한국어가 들어 있다. 엔비디아 모델의 라이선스는 모두 엔비디아 자체 라이선스다.
이번 모델들은 이름에 'A12B', 'A9B'처럼 'A'가 붙는다. 업계에서 이 표기는 보통 전문가 혼합(MoE) 구조를 뜻한다. 전체 매개변수 가운데 한 번에 실제로 쓰는 매개변수(활성 매개변수)가 120억 개, 90억 개라는 의미다. 모델 전체는 크게 만들면서도 연산 비용은 줄이는 방식이다. 엔비디아는 같은 모델을 원본(BF16), 4비트 양자화(NVFP4), 로컬 실행용(GGUF)으로 나눠 함께 배포했다. 데이터센터와 개인 PC까지 여러 환경을 모두 겨냥한 구성이다. 리랭크 모델은 검색 증강 생성(RAG)처럼 문서를 찾아 답하는 시스템에서 결과의 정확도를 높이는 부품 역할을 한다. 한국어를 지원하는 만큼 국내 개발자도 바로 시험해 볼 수 있다.
IBM은 10월 14일 텍스트 생성 모델 'granite-switch-4.1'을 8B(87.8억 개)와 30B(300억 개) 두 가지 크기로 공개했다. 라이선스는 아파치 2.0이어서 상업적으로 이용하고 고쳐 쓰는 데 제약이 적다. 같은 날 미스트랄은 'Timestral' 4종을 내놓았다. 매개변수는 521만 개부터 2.1억 개까지로, 이번에 공개된 모델 가운데 가장 작다. 모델 카드에 따르면 라이선스는 미스트랄 자체 라이선스다. 정리한 자료에는 모델의 용도가 나와 있지 않아 무엇에 쓰는 모델인지는 확인되지 않았다.
모델 정보는 각 기업이 허깅페이스에 올린 모델 카드를 기준으로 했다. 성능 수치는 기업이 직접 밝힌 것이다. 모두 막 공개된 모델이어서 내려받기 수 같은 반응은 아직 집계되지 않았다.
