딥시크 V4.1 플래시 공개…파라미터 2.5배 키우고 메모리는 줄였다

IT 전문매체 더 레지스터(The Register)는 11일(현지시간) 중국 인공지능(AI) 기업 딥시크(DeepSeek)가 비용과 지연시간을 최적화한 '플래시' 모델의 새 버전 'V4.1 플래시'를 공개했다고 보도했다.

더 레지스터에 따르면 V4.1 플래시의 파라미터 규모는 7630억 개로, 이전 버전보다 2.5배 이상 크다. 2025년 초 딥시크의 이름을 알린 V3와 R1보다도 큰 규모다. 그럼에도 구동에 필요한 메모리는 덩치에 비해 크게 늘지 않았다는 것이 이 매체의 설명이다.

더 레지스터는 핵심 변화로 두 가지를 꼽았다. 하나는 키-밸류(KV) 캐시 처리 방식의 개선이다. 어텐션 메커니즘을 손보고 새로운 인과적 인코더-디코더(CED) 구조를 도입해 KV 캐시 사용량을 기존 V4 플래시의 13~25% 수준으로 줄였다고 전했다. 같은 메모리로 4~8배 많은 사용자를 감당할 수 있다는 의미다.

다른 하나는 전체 파라미터 가운데 1960억 개를 차지하는 'N-그램 파라미터'다. 딥시크는 이를 '조건부 메모리 모듈'이라 부르며, 연산과 기억을 분리해 성능을 높이면서도 자원 소모를 줄이는 방식이라고 설명했다. 이 가중치는 대형 조회 테이블처럼 작동해 GPU 메모리 대신 시스템 램(RAM)으로 옮길 수 있다고 매체는 전했다.

더 레지스터는 알리바바가 지난달 공개한 실험 모델 '큐원(Qwen) 3.8-플래시-넥스트'도 유사한 N-그램 방식을 적용했다고 덧붙였다. 자세한 내용은 더 레지스터 보도에서 확인할 수 있다.