"학생 모델이 말을 못 멈춘다"… 온폴리시 증류 '길이 폭증'의 원인은 종료 토큰 불일치
arXiv에 공개된 사전공개 논문에 따르면, 대형언어모델을 온폴리시 증류(On-Policy Distillation·OPD) 방식으로 학습시킬 때 학생 모델의 응답이 비정상적으로 길어지는 '길이 폭증(length inflation)' 현상의 주요 원인 가운데 하나가 교사 모델과 학생 모델 사이의 '종료 토큰(EOS) 불일치'인 것으로 제시됐다. 논문은 Microsoft 소속 Yuxiao Yang 등 9명이 작성한 「When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation」(arXiv:2609.20511)으로, 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 55회를 받았다.
온폴리시 증류는 학생 모델이 스스로 생성한 응답 위에서 교사 모델의 출력 분포를 따라가도록 학습시키는 기법이다. 정답 데이터를 그대로 모방하는 기존 증류와 달리 학생이 실제로 만들어내는 문장을 학습 신호의 출발점으로 삼기 때문에, 작은 모델의 성능을 끌어올리는 방법으로 최근 널리 쓰인다. 문제는 이 과정에서 학생의 응답이 계속 길어져 생성 토큰 한도를 소진해버리는 사례가 보고돼 왔다는 점이다. 응답 길이는 곧 추론 비용과 응답 지연으로 이어지는 만큼, 원인 규명은 실무적으로도 비중이 작지 않다.
연구진은 그 원인을 모델이 '문장을 끝내는 행위'를 표현하는 방식의 차이에서 찾았다. 초록에 따르면 Qwen3, Llama, Gemma 세 모델 계열에서 사전학습 상태의 학생 모델과 후속 학습을 거친 교사 모델은, 선언된 종료 토큰 집합이 동일한 경우에도 정지 확률을 서로 다른 EOS 토큰에 배분하는 것으로 나타났다. 이 불일치는 학생이 선호하던 종료 행동을 억눌러 놓고도, 교사가 선호하는 대체 종료 토큰은 안정적으로 전달하지 못한다. 결과적으로 학생 모델은 어디서 멈춰야 할지에 대한 신호를 잃고 문장을 계속 이어가게 된다는 것이다.
해법으로는 디코딩 단계의 종료 토큰 집합을 맞추는 것만으로는 충분하지 않다는 점이 지적됐다. 대신 기능적으로 동등한 여러 EOS 토큰을 하나의 '의미적 종료 행동'으로 묶어 취급하자, 세 모델 계열 모두에서 불일치로 인한 길이 폭증이 상당 부분 완화됐다고 연구진은 밝혔다.
연구진은 종료 행동이 학습 과정에서 어떻게 변하는지 보기 위해 'K2-Horizon'의 여러 학습 단계에 대해 온폴리시 증류를 적용한 단계별 분석도 진행했다. 그 결과 종료 선호는 학습 도중 크게 이동할 수 있으며, 동시에 증류 후반부에는 종료 토큰 정렬을 마친 뒤에도 사라지지 않는 별도의 길이 증가가 관찰됐다. 종료 불일치가 중요한 원인이기는 하나 유일한 원인은 아니라는 뜻이다. 연구진은 제안한 종료 처리 보정을 반영한 구현을 공개했다고 밝혔다.
다만 완화 효과의 구체적인 수치나 실험 설정 등 세부 내용은 공개된 초록만으로는 확인되지 않았다. 이 논문은 동료평가를 거치지 않은 사전공개 상태다.