Nanbeige4.3-33B, Nanbeige가 공개한 상업 이용 가능 텍스트 생성 모델… 52만 토큰 입력 지원
Nanbeige가 지난 24일 텍스트 생성 모델 'Nanbeige4.3-33B'를 AI 모델 공유 플랫폼 허깅페이스(Hugging Face)에 공개했다. 허깅페이스 모델 정보를 보면 이 모델의 매개변수는 331억 개다. 라이선스는 상업 이용을 허용하는 apache-2.0이고, 한 번에 받을 수 있는 입력은 최대 524,288 토큰이다.
모델 이름 끝의 '33B'는 매개변수 규모를 뜻한다. 매개변수는 모델이 학습하면서 조정하는 값으로, 많을수록 표현력이 커지지만 실행에 드는 메모리와 연산량도 늘어난다. 331억 개는 수천억 개 규모의 초대형 모델보다는 작고, 수십억 개 규모의 경량 모델보다는 훨씬 크다. 허깅페이스에 올라온 가중치 파일은 약 66GB다. 매개변수 하나를 2바이트(16비트)로 저장했다고 보고 계산한 값과 거의 맞아떨어진다.
입력 길이는 눈에 띄는 대목이다. 524,288 토큰은 2의 19제곱으로, 흔히 '512K'라고 부르는 크기다. 토큰은 모델이 글을 잘게 나눠 처리하는 단위다. 이 정도 길이라면 긴 보고서나 여러 문서, 규모가 큰 코드 묶음을 잘라 넣지 않고 한 번에 입력할 수 있다. 다만 입력이 길어질수록 실행에 필요한 메모리도 함께 커진다.
라이선스도 이용자 입장에서 중요하다. apache-2.0은 대표적인 공개 소프트웨어 라이선스로, 기업이 모델을 자사 서비스나 제품에 넣어 상업적으로 써도 된다. 저작권 표기 같은 조건은 라이선스 문서에 적힌 대로 지켜야 한다. 사용 목적이나 이용자 규모에 제한을 두는 일부 공개 모델 라이선스와 비교하면 도입 부담이 적은 편이다.
개인 PC에서 돌릴 수 있는지는 양자화 여부에 달렸다. 원본 가중치 66GB를 그대로 올리려면 일반 소비자용 그래픽카드 한 장으로는 메모리가 크게 모자란다. 가중치를 4비트로 줄이는 양자화를 거치면 크기는 약 19GB 안팎으로 작아져 고사양 개인 장비에서도 실행해 볼 만한 수준이 된다. 하지만 이 숫자는 파일 크기일 뿐이다. 실제로 실행할 때는 입력 길이 등에 따라 이보다 많은 메모리가 필요하다.
한국어 이용자는 지원 언어를 확인해야 한다. 모델 카드에 적힌 지원 언어는 영어와 중국어 두 가지로, 한국어는 공식 지원 목록에 없다. 한국어 서비스에 쓰려는 개발자라면 직접 성능을 시험해 보는 과정이 필요하다.
공개 이후 이 모델은 허깅페이스에서 내려받기 2,787회, 즐겨찾기 587회를 기록했다. 허깅페이스는 전 세계 개발자들이 공개 AI 모델을 올리고 내려받는 곳이어서, 이 수치는 개발자들의 초기 관심을 보여주는 지표로 볼 수 있다. 모델은 https://huggingface.co/Nanbeige/Nanbeige4.3-33B 에서 받을 수 있다.
한눈에 보기
· 모델 이름: Nanbeige4.3-33B (https://huggingface.co/Nanbeige/Nanbeige4.3-33B)
· 용도: 텍스트 생성
· 매개변수: 331억 개
· 라이선스: apache-2.0 — 상업 이용이 허용되는 공개 라이선스다(표기 등 조건은 라이선스 문서를 따른다)
· 한국어: 모델 카드에 적힌 지원 언어(영어·중국어)에 한국어는 없다
· 최대 입력 길이(컨텍스트): 524,288 토큰
· 가중치 파일: 약 66GB · 4비트 양자화 시 약 19GB 안팎 — 실제 실행에는 이보다 메모리가 더 든다
