딥시크, 100만 토큰 컨텍스트 'V4.1-Flash' 공개… KV 캐시 890바이트로 축소

MarkTechPost는 10일(현지시간) 딥시크(DeepSeek)가 새 멀티모달 전문가혼합(MoE) 모델 '딥시크-V4.1-플래시(DeepSeek-V4.1-Flash)'를 공개했다고 보도했다.

이 모델은 백본 파라미터 5520억 개와 별도의 인그램(Engram) 파라미터 1960억 개를 갖췄으며, 100만 토큰 길이의 컨텍스트 윈도를 지원한다. 토큰당 실제 활성화되는 파라미터는 프리필 단계에서 80억 개, 디코드 단계에서 160억 개다.

핵심 수치는 KV 캐시 용량이다. MarkTechPost에 따르면 전역 KV 캐시는 토큰당 890바이트로, 이전 모델인 V4-플래시의 약 4분의 1, 초기 V1과 비교하면 약 437분의 1 수준이다. 캐시를 FP4 계열로 양자화하고 계층 간 어텐션을 재사용하는 방식이 적용됐다. 사전학습에는 텍스트와 멀티모달 데이터를 7대 1 비율로 섞은 45조 토큰이 쓰였다.

가중치는 MIT 라이선스로 허깅페이스에 공개됐고 vLLM·SGLang·트랜스포머스에서 구동할 수 있으며, 연구팀은 추론 강도를 저·고·최대 세 단계로 나눈 공개 API도 함께 제시했다.

구조와 학습 방식에 대한 자세한 내용은 MarkTechPost 보도와 딥시크가 공개한 기술 보고서에서 확인할 수 있다.