LitAgent-Joint-SFT-9B-lg7eae-2n, 앨런AI연구소가 허깅페이스에 공개한 90억 규모 미세조정 모델

미국 비영리 인공지능(AI) 연구기관 앨런AI연구소(Allen Institute for AI)가 새 언어모델 'LitAgent-Joint-SFT-9B-lg7eae-2n'을 내놨다. 허깅페이스에 있는 연구소 공식 계정(allenai)을 보면, 이 모델은 11월 20일 'allenai/LitAgent-Joint-SFT-9B-lg7eae-2n'이라는 저장소 이름으로 올라왔다. 누구나 허깅페이스 모델 페이지(huggingface.co/allenai/LitAgent-Joint-SFT-9B-lg7eae-2n)에서 볼 수 있다.
이번 모델은 이름에 성격이 많이 드러난다. 'SFT'는 AI 업계에서 '지도 미세조정(Supervised Fine-Tuning)'을 줄여 부르는 말이다. 미리 학습을 마친 기반 모델에 사람이 정답을 달아 둔 예시 데이터를 다시 학습시켜, 특정 작업에 맞게 다듬는 단계를 가리킨다. '9B'는 보통 모델 크기를 나타내는 표기로, 매개변수(파라미터)가 약 90억 개라는 뜻으로 쓰인다. 앞에 붙은 'LitAgent'는 이 모델이 속한 연구 계열 이름이고, 'Joint'는 여러 학습 요소를 함께 묶었다는 뜻으로 읽힌다. 끝의 'lg7eae-2n'처럼 영문과 숫자가 섞인 꼬리표는 연구기관이 같은 계열 안에서 실험 설정이나 체크포인트를 구분하려고 붙이는 경우가 많다.
90억 매개변수 정도면 언어모델 가운데 중간 크기에 속한다. 수천억 개 단위의 초대형 모델보다 훨씬 작아서, 연구실이나 기업이 가진 고성능 그래픽처리장치(GPU) 환경에서 직접 돌려 보고 시험하기에 비교적 부담이 덜한 크기로 꼽힌다. 그래서 이 정도 크기의 모델은 학계와 개발자들이 학습 방법을 비교하는 실험용으로 자주 쓰인다.
앨런AI연구소는 마이크로소프트 공동창업자 고(故) 폴 앨런이 세운 비영리 연구기관이다. 모델 가중치뿐 아니라 학습 데이터와 학습 과정까지 공개하는 '완전 공개형' 언어모델 연구로 이름이 나 있다. 언어모델 'OLMo' 시리즈와, 미세조정 방법론을 공개한 'Tülu' 시리즈가 대표적이다. 연구소는 학습 과정 중간에 나온 모델이나 설정을 바꿔 가며 실험한 모델을 허깅페이스에 꾸준히 올려 왔다. 이번 모델도 저장소 이름에 실험 구분용 꼬리표가 붙어 있어, 하나의 완성 제품이라기보다 연구 과정에서 나온 결과물을 외부에 공개한 사례로 볼 수 있다.
허깅페이스는 전 세계 AI 연구자와 기업이 모델과 데이터셋을 올리고 내려받는 오픈소스 플랫폼이다. 공식 계정에 모델이 올라오면 외부 연구자들이 같은 조건에서 모델을 내려받아 결과를 직접 확인하거나, 자기 연구의 비교 대상으로 쓸 수 있다. 앨런AI연구소처럼 공개 연구를 내세우는 기관에는 결과를 검증받는 통로이기도 하다.
이 기사의 모델 정보는 앨런AI연구소가 허깅페이스 공식 계정에 올린 모델 카드를 기준으로 정리했다. 성능 관련 수치는 연구소가 자체 발표한 것이다. 모델이 막 공개된 만큼 내려받기 횟수 같은 이용자 반응 지표는 아직 집계되지 않았다.



