Unlimited-OCR-2, 바이두의 이미지 읽고 글 쓰는 33억 모델… MIT로 상업 이용 가능
중국 바이두(baidu)가 이미지와 텍스트를 함께 입력받아 텍스트를 생성하는 AI 모델 'Unlimited-OCR-2'를 공개했다. 허깅페이스(Hugging Face) 모델 정보에 따르면 바이두는 지난 10월 26일 AI 모델 공유 플랫폼 허깅페이스에 이 모델을 올렸다. 매개변수는 33억 4000만 개이고, 라이선스는 상업 이용이 허용되는 MIT다.
모델 이름에 들어간 'OCR'은 광학 문자 인식(Optical Character Recognition)의 약자다. 이미지 속 글자를 읽어 텍스트로 바꾸는 기술로, 스캔 문서나 사진, 화면 캡처에서 내용을 뽑아내는 데 쓰인다. 허깅페이스에 등록된 이 모델의 용도도 '이미지·텍스트 입력 텍스트 생성'이다. 이미지와 지시문을 함께 넣으면 결과를 글로 내놓는 방식이다.
모델 규모는 매개변수 33억 4000만 개다. 수백억~수천억 개의 매개변수를 갖춘 대형 언어모델보다 훨씬 작다. 가중치 파일은 약 6.7GB이고, 4비트 양자화를 거치면 약 1.9GB 안팎으로 줄어든다. 양자화는 모델 내부 숫자의 정밀도를 낮춰 용량과 메모리 사용량을 줄이는 기법이다. 실제로 모델을 돌릴 때는 파일 크기보다 메모리가 더 든다. 그래도 수십 GB 이상의 메모리를 요구하는 대형 모델과 비교하면 훨씬 가벼운 환경에서도 직접 실행해 볼 수 있는 크기다.
한 번에 받을 수 있는 최대 입력 길이(컨텍스트)는 131,072 토큰이다. 업계에서 흔히 '128K'라고 부르는 수준이다. 긴 입력을 한꺼번에 처리할 수 있어서, 문서처럼 분량이 많은 자료를 다룰 때 유리하다.
라이선스는 MIT다. MIT 라이선스는 대표적인 허용형 공개 라이선스다. 기업이 모델을 상업 서비스에 넣거나 고치고 다시 배포하는 것이 허용된다. 다만 저작권 표기 같은 조건은 라이선스 문서를 따라야 한다. 사용 범위를 제한하는 자체 라이선스로 공개되는 모델도 적지 않다. 그런 만큼 기업과 개발자는 이 모델을 비교적 부담 없이 자기 제품이나 업무 흐름에 붙여 볼 수 있다.
개발자 반응도 나오고 있다. 공개 이후 내려받기는 14만 7588회, 즐겨찾기는 560회를 기록했다. 허깅페이스는 공개 AI 모델이 모이는 곳이어서, 이 수치는 개발자들이 처음에 얼마나 관심을 보였는지 알려 준다. 모델은 허깅페이스 주소(https://huggingface.co/baidu/Unlimited-OCR-2)에서 받을 수 있다.
한눈에 보기
· 모델 이름: Unlimited-OCR-2 (https://huggingface.co/baidu/Unlimited-OCR-2)
· 용도: 이미지·텍스트 입력 텍스트 생성
· 매개변수: 33.4억 개
· 라이선스: mit — 상업 이용이 허용되는 공개 라이선스다(표기 등 조건은 라이선스 문서를 따른다)
· 최대 입력 길이(컨텍스트): 131,072 토큰
· 가중치 파일: 약 6.7GB · 4비트 양자화 시 약 1.9GB 안팎 — 실제 실행에는 이보다 메모리가 더 든다
