kanana-2-v-decide-3b-2611, 카카오 공개… 한국어 지원 36.7억 매개변수 모델
카카오가 허깅페이스 공식 계정에 'kanana-2-v-decide-3b-2611' 모델을 공개했다. 허깅페이스에 올라온 모델 카드에 따르면 이 모델의 매개변수는 36.7억 개이고, 지원 언어는 한국어와 영어다. 라이선스는 카카오가 따로 정한 'kanana-open-license'를 따른다. 공개일은 10월 26일로 표기돼 있다.
모델 이름에서 '3b'는 30억 개대 매개변수 규모를 뜻한다. 수천억 개 매개변수를 가진 초대형 모델과 비교하면 몸집이 작은 편이다. 매개변수 수가 적을수록 연산과 메모리 부담이 줄어서, 대형 서버가 아닌 개인용 장비에서도 돌려 볼 수 있다. 이번 모델도 그런 소형 모델 쪽에 속한다.
모델 카드에 적힌 가중치 파일 크기는 약 7.3GB다. 매개변수 하나를 16비트로 저장할 때 나오는 크기와 맞아떨어지는 값이다. 가중치를 4비트로 줄이는 양자화를 거치면 파일은 약 2.1GB 안팎으로 작아진다. 이 정도면 그래픽카드 메모리가 넉넉하지 않은 일반 PC나 노트북에서도 실행을 시도해 볼 수 있다. 다만 모델을 실제로 돌릴 때는 가중치 파일보다 메모리가 더 든다. 입력 문장을 처리하고 답을 만드는 과정에서 추가 공간이 필요하기 때문이다. 내 PC에서 직접 써 보려면 이 여유분까지 따져야 한다.
한 번에 넣을 수 있는 최대 입력 길이(컨텍스트)는 32,768 토큰이다. 짧은 질문과 답을 넘어 꽤 긴 문서나 여러 차례 이어진 대화도 한꺼번에 입력할 수 있는 수준이다. 지원 언어가 한국어와 영어로 명시돼 있어 국내 개발자는 한국어 서비스에 바로 붙여 시험해 볼 수 있다. 해외 모델을 한국어에 맞게 따로 손볼 필요가 없다는 점이 국내 이용자에게는 장점이다.
상업적으로 쓰려면 라이선스를 먼저 확인해야 한다. 이 모델은 아파치(Apache)나 MIT 같은 범용 오픈소스 라이선스가 아니라 카카오의 자체 라이선스인 'kanana-open-license'를 쓴다. 모델 카드에 따르면 상업 이용 조건은 이 라이선스 문서에 따른다. 기업이 자사 제품이나 서비스에 넣으려면 허용 범위와 의무 사항을 문서에서 직접 확인해야 한다.
이번 모델은 허깅페이스의 카카오 공식 저장소(kakaocorp)에 올라왔다. 이름에 붙은 'kanana-2'와 '2611'로 볼 때 카카오가 kanana라는 이름으로 내놓는 모델 라인업 중 하나이며, 이름 끝에 버전을 구분하는 번호를 붙였다. 누구나 저장소에서 모델 카드를 읽고 가중치를 내려받을 수 있다.
모델 정보는 카카오가 허깅페이스에 올린 모델 카드를 기준으로 한다. 성능 수치는 기업이 발표한 것이다. 막 공개된 모델이라 내려받기 수 같은 이용자 반응은 아직 집계되지 않았다.
한눈에 보기
· 모델 이름: kanana-2-v-decide-3b-2611 (https://huggingface.co/kakaocorp/kanana-2-v-decide-3b-2611)
· 매개변수: 36.7억 개
· 라이선스: kanana-open-license — 상업 이용 조건은 이 라이선스 문서에 따른다
· 한국어: 모델 카드 지원 언어에 한국어가 들어 있다(한국어·영어)
· 최대 입력 길이(컨텍스트): 32,768 토큰
· 가중치 파일: 약 7.3GB · 4비트 양자화 시 약 2.1GB 안팎 — 실제 실행에는 이보다 메모리가 더 든다
