llama.cpp, 첫 정식 버전 v1.0.0 공개… 낡은 API 걷어내고 FP8 KV 캐시·MoE 전문가 캐시 도입
가벼운 장비에서도 대규모 언어모델을 돌릴 수 있게 해 주는 오픈소스 추론 엔진 llama.cpp가 첫 정식 버전 v1.0.0을 내놨다. ggml-org가 GitHub에 올린 릴리스 노트에 따르면 개발팀은 2026년 11월 13일 v1.0.0을 공개했다. 이번 버전에서는 지원 중단 예정이던 공개 API를 없애고, 메모리 효율을 높이는 기능과 새 모델 지원, 서버 보안 강화, 웹 UI 개편이 한꺼번에 들어갔다.
릴리스 노트를 보면 가장 큰 변화는 API 정리다. 개발팀은 그동안 '지원 중단(deprecated)'으로 표시해 두었던 공개 API를 걷어냈다. 핵심 헤더 파일인 llama.h에서 llama_set_warmup 함수와 지원 중단 함수 35개를 지웠고, defrag_thold 설정과 --defrag-thold 옵션도 뺐다. 대신 NextN·추측(speculative) 디코딩 관련 API를 llama.h로 올려 정식 인터페이스에 포함했다. 버전 번호가 1.0으로 올라간 시점에 오래된 호환 코드를 털어내고 남길 인터페이스를 확정한 것이다. 그래서 llama.cpp를 라이브러리로 가져다 쓰는 개발자는 지워진 함수를 쓰고 있는지 살펴봐야 한다.
성능과 메모리 부분에서는 OCP FP8 형식의 KV 캐시가 추가됐다. KV 캐시는 모델이 앞서 처리한 문맥을 저장해 두는 공간인데, 대화가 길어질수록 메모리를 많이 잡아먹는다. 이를 8비트 부동소수점 형식으로 저장할 수 있게 되면서 같은 메모리로 더 긴 문맥을 다룰 여지가 생겼다. 전문가 혼합(MoE) 모델을 위해서는 호스트 메모리에 전문가 가중치를 담아 두는 캐시가 들어갔고, CPU가 맡는 비율은 사용자가 정할 수 있다. 그래픽카드 메모리가 넉넉하지 않은 환경에서 큰 MoE 모델을 돌릴 때 쓸 수 있는 기능이다. 외부 PLE 샤드를 불러오는 기능도 추가됐다.
지원 모델도 늘었다. 텍스트 모델 구조로는 Kimi-K3.1-Pro, Ripple, xing40 세 가지가 새로 들어갔다. 음성 합성(TTS) 모델 drama-3를 지원하고, 비전 모델로는 MageVL-Cowork와 Kimi-K3.1을 지원한다. 텍스트를 넘어 음성과 이미지까지 한 엔진에서 처리하는 방향으로 범위를 넓히고 있는 셈이다.
내장 서버인 llama-server는 보안을 손봤다. 릴리스 노트에 따르면 서버 요청 위조(SSRF), 교차 출처 리소스 공유(CORS), DNS 리바인딩과 관련한 방어를 강화했고, MCP 도구 호출을 취소하는 처리도 다듬었다. 로컬에서 띄운 모델 서버를 웹 브라우저나 외부 도구와 연결해 쓰는 경우가 늘어난 만큼 이런 공격 경로를 막는 일이 중요해졌다. 음성 생성용 /v1/audio/speech 엔드포인트도 새로 생겨, 이번에 지원을 시작한 TTS 모델을 서버 API로 바로 부를 수 있다.
사용자가 직접 보는 웹 UI는 새로 설계됐다. 대화를 묶어 관리하는 채팅 그룹 기능과 마크다운 편집기가 들어갔다. llama.cpp의 연산 기반인 텐서 라이브러리 ggml도 함께 v1.0.0으로 올라갔다.
이번 릴리스는 엔진과 하부 라이브러리가 나란히 1.0 버전을 달고, 낡은 인터페이스 정리와 기능 확장을 동시에 했다는 점에서 의미가 있다. 개인 PC나 소형 장비에서 모델을 돌리는 사용자는 메모리 절감 기능과 새 모델 지원을 바로 써 볼 수 있고, llama.cpp 위에 서비스를 만드는 개발자는 바뀐 API에 맞춰 코드를 고쳐야 한다.
