Spark-X2.6-4B, XHToken 텍스트 생성 모델 공개… 상업 이용 가능·100만 토큰 입력
중국어·영어 텍스트 생성 모델 'Spark-X2.6-4B'가 공개됐다. 허깅페이스(Hugging Face) 모델 정보에 따르면 XHToken은 지난 10월 19일 이 모델을 허깅페이스에 올렸다. 매개변수는 41억 1천만 개이고, 최대 입력 길이는 1,048,576토큰이다. 라이선스는 상업 이용이 허용되는 아파치 2.0(apache-2.0)이다.
공개 뒤 열흘 남짓 지난 지금 내려받기는 6,191회, 즐겨찾기는 779회다. 허깅페이스는 개발자와 연구자가 공개 AI 모델을 올리고 내려받는 플랫폼이다. 이 수치로 개발자들이 처음에 얼마나 관심을 보였는지 가늠할 수 있다.
◆ '4B'급 소형 모델에 100만 토큰 입력
모델 이름 끝의 '4B'는 매개변수 규모를 뜻한다. 실제 매개변수는 41억 1천만 개로 이름과 맞는다. 수백억~수천억 개 매개변수를 쓰는 대형 언어모델과 비교하면 작은 편이다. 이 정도 규모는 대형 서버보다 개인용 장비나 작은 서버에서 돌리는 쓰임새를 노린 경우가 많다.
가장 눈에 띄는 것은 입력 길이다. 모델 정보에 적힌 최대 컨텍스트는 1,048,576토큰으로, 2의 20제곱인 약 100만 토큰이다. 컨텍스트는 모델이 한 번에 읽고 처리할 수 있는 입력의 양이다. 숫자가 클수록 긴 문서나 대화 기록을 한꺼번에 넣을 수 있다. 이번 모델은 40억 개 남짓한 소형 모델이면서도 이처럼 긴 입력 길이를 내세웠다.
◆ 4비트 양자화하면 약 2.3GB
가중치 파일은 약 8.2GB다. 가중치를 4비트로 줄이는 양자화를 거치면 약 2.3GB 안팎까지 작아진다. 양자화는 모델의 숫자 정밀도를 낮춰 용량과 메모리 사용량을 줄이는 방법이다. 고성능 그래픽카드가 없는 환경에서 모델을 돌릴 때 흔히 쓴다. 다만 이 용량은 파일 크기 기준이다. 실제로 실행하면 이보다 메모리가 더 든다. 특히 긴 입력을 넣을수록 처리 과정에서 쓰는 메모리도 함께 늘어난다.
◆ 상업 이용 가능, 한국어는 지원 언어에 없어
아파치 2.0은 대표적인 공개 소프트웨어 라이선스 가운데 하나다. 기업이 이 모델을 고쳐 쓰거나 자사 제품·서비스에 넣어 상업적으로 써도 된다. 대신 저작권·라이선스 표기 같은 조건은 라이선스 문서를 따라야 한다.
국내 사용자는 언어 지원을 확인해야 한다. 모델 카드에 적힌 지원 언어는 영어와 중국어 두 가지이고, 한국어는 목록에 없다. 한국어 서비스에 쓰려면 별도 검증이나 추가 학습을 고려해야 하는 이유다.
모델은 https://huggingface.co/XHToken/Spark-X2.6-4B 에서 내려받을 수 있다.
한눈에 보기
· 모델 이름: Spark-X2.6-4B (https://huggingface.co/XHToken/Spark-X2.6-4B)
· 용도: 텍스트 생성
· 매개변수: 41.1억 개
· 라이선스: apache-2.0 — 상업 이용이 허용되는 공개 라이선스다(표기 등 조건은 라이선스 문서를 따른다)
· 한국어: 모델 카드에 적힌 지원 언어(영어·중국어)에 한국어는 없다
· 최대 입력 길이(컨텍스트): 1,048,576 토큰
· 가중치 파일: 약 8.2GB · 4비트 양자화 시 약 2.3GB 안팎 — 실제 실행에는 이보다 메모리가 더 든다
앞서 보도한 기사
Spark-X2.6-4B, XHToken 공개… 100만 토큰 입력에 상업 이용 가능한 41억 매개변수 모델
