IBM, 음성 AI 모델 'granite-speech-5.0-2b' 경량화 버전 공개…개인 PC에서 돌리는 GGUF 형식
IBM이 음성 AI 모델 'granite-speech-5.0-2b'를 개인 컴퓨터에서도 돌릴 수 있도록 가볍게 만든 버전을 내놨다. IBM 공식 계정이 허깅페이스에 올린 자료를 보면, IBM은 10월 14일 'ibm-granite/granite-speech-5.0-2b-GGUF'를 공개했다. 원래 모델보다 메모리를 적게 쓰거나 추론 속도를 높이도록 만든 경량화·양자화 버전이다.
이번에 공개된 경량화 버전은 GGUF 형식 한 가지다. GGUF는 대형 서버가 아닌 개인용 PC에서 AI 모델을 실행할 때 흔히 쓰는 파일 형식으로, 양자화를 거친 모델을 배포하는 데 많이 쓰인다. 양자화는 모델이 계산에 쓰는 숫자를 더 적은 비트로 나타내는 기법이다. 정밀도를 조금 내주는 대신 파일 크기와 메모리 사용량이 줄어든다. 그래서 값비싼 GPU 서버가 없어도 모델을 띄울 수 있다. IBM은 이번 버전의 목적을 '적은 메모리로 구동'과 '더 빠른 추론' 두 가지로 설명했다.
모델 이름의 '2b'는 매개변수(파라미터)가 20억 개 규모라는 뜻이다. 매개변수가 수천억 개에 이르는 초거대 모델과 비교하면 원래도 작은 편이다. 여기에 양자화까지 거치면서 일반 노트북이나 데스크톱에서 쓰기가 더 쉬워졌다. 이름에 'speech'가 들어간 것처럼 음성을 다루는 모델이다. 모델을 자기 기기에서 직접 실행하면 음성 데이터를 외부 서버로 보낼 필요가 없다. 기기 안에서 음성을 처리하는 서비스를 만들려는 개발자에게는 쓸 수 있는 선택지가 하나 늘어난 셈이다.
공개 방식도 눈여겨볼 만하다. 이번 GGUF 버전은 제3자가 변환해 올린 파일이 아니라 IBM의 그래니트(Granite) 모델 공식 계정인 'ibm-granite'에 올라왔다. 원본 모델을 만든 회사가 경량화 버전까지 직접 배포했기 때문에, 이용자는 출처가 불분명한 변환 파일을 찾지 않고도 공식 저장소에서 바로 내려받을 수 있다. 원본 모델과 경량화 버전이 같은 계정 아래 나란히 관리된다는 점에서 기업 이용자도 출처를 확인하기 쉽다.
그래니트는 IBM이 개발해 허깅페이스에 공개해 온 AI 모델 계열이다. 이번에 나온 granite-speech-5.0-2b는 그 가운데 음성 분야를 맡는 5.0 세대, 20억 매개변수 모델이다. 원본에 이어 PC 실행용 양자화 버전이 나오면서, 같은 모델을 서버 환경과 개인 PC 환경 가운데 필요에 맞춰 골라 쓸 수 있게 됐다.
모델 정보는 IBM이 허깅페이스에 등록한 모델 카드를 기준으로 했다. 모델 카드에 나온 성능 수치는 IBM이 자체 발표한 것이다. 모델은 허깅페이스의 ibm-granite/granite-speech-5.0-2b-GGUF 저장소에서 받을 수 있다.
