행동 서툰 AI도 좋은 '선생' 될 수 있다…저장대, 장기 과제 에이전트의 의사결정 모델 연구
직접 행동을 잘하지 못하는 인공지능(AI) 모델도 다른 모델을 잘 가르칠 수 있다는 연구 결과가 나왔다. 중국 저장대(Zhejiang University) 연구진이 arXiv에 공개한 논문 「Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents」의 저자 초록에 따르면, 연구진은 의사결정 모델 JEV를 강화학습의 '교사'로 썼다. 그 결과 Qwen2.5-1.5B 기반 정책 모델의 과제 성공률이 ALFWorld에서 72.8%에서 82.9%로, WebShop에서 56.8%에서 71.4%로 올랐다. 비교 기준은 강화학습 기법 GRPO만 쓴 경우다. Haochen Liu 등 10명이 쓴 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 34회를 받았다.
연구진이 말하는 의사결정 모델은 질문에 정해진 형식으로 답하는 모델이다. 여러 선택지 가운데 하나를 고르면서 선택지마다 확률을 함께 내놓는 식이다. 출력 형식이 이렇게 정해져 있어서 모델 하나를 세 가지 용도로 쓸 수 있다. 에이전트가 할 행동을 직접 고르는 '행위자(actor)', 이미 한 행동을 평가하는 '심판(judge)', 모든 행동에 점수를 매겨 강화학습으로 정책을 가르치는 '교사(teacher)'다.
연구진은 기존 연구가 이런 모델을 주로 행위자로만 다뤄 왔고, 쓸모도 얼마나 잘 행동하느냐로 판단해 왔다고 지적했다. 이번 논문은 여기서 한 걸음 더 나아가 '행동이 서툰 의사결정 모델도 잘 가르칠 수 있는가'를 물었다. 여러 단계를 차례로 밟아야 끝나는 장기(long-horizon) 과제에서는 행동을 직접 잘하는 능력과 행동을 평가하는 능력이 서로 다를 수 있다는 문제의식이다.
실험은 세 갈래로 진행됐다. 먼저 의사결정 모델 3종과 범용 대규모언어모델(LLM) 3종을 ALFWorld 환경에서 행위자와 심판으로 비교했다. 행위자로 썼을 때는 여섯 모델 모두 같은 약점을 보였다. 반드시 먼저 끝내야 하는 하위 목표가 있는데도 더 쉬운 하위 목표 쪽으로 끌려간 것이다.
그러나 같은 모델에게 전체 행동 궤적을 보여 주고 심판을 맡기자 결과가 달라졌다. 먼저 해야 했던 하위 목표를 향한 단계들을 제대로 인정한 것이다. 질문 방식도 결과를 갈랐다. '이 과제가 성공할 것인가'보다 '각 행동이 도움이 됐는가'를 물었을 때 쓸모 있는 행동과 쓸모없는 행동이 더 잘 구분됐다.
마지막으로 연구진은 JEV를 ALFWorld와 WebShop에서 교사로 썼다. 15억 개 매개변수 규모의 소형 모델 Qwen2.5-1.5B에 행동별 점수를 매겨 주는 방식이다. 그 결과 GRPO만 쓴 경우보다 성공률이 ALFWorld에서 10.1%포인트, WebShop에서 14.6%포인트 올랐다.
연구진은 이 결과를 근거로 행동이 서툰 모델도 잘 가르칠 수 있다고 결론지었다. 이유는 평가 시점에 있다. 행동하는 순간에는 그 행동이 낳을 결과를 미리 내다봐야 한다. 반면 에피소드가 끝난 뒤 행동을 평가하면 그 결과가 이미 드러나 있다. 같은 모델이라도 결과를 보고 판단하는 쪽이 앞을 내다보고 판단하는 쪽보다 정확할 수 있다는 뜻이다. 이는 의사결정 모델의 가치를 행동 성능 하나로만 따지면 교사로서의 쓸모를 놓칠 수 있다는 점도 보여 준다.
연구진은 코드를 깃허브(https://github.com/ZJU-REAL/decision-agents)에 공개했다. 논문 번호는 arXiv:2611.17167이다. 이 논문은 동료평가를 거치지 않은 사전공개 논문이며, 이 기사는 저자가 공개한 초록을 바탕으로 정리했다.
