요약만으로는 부족하다…푸단대 연구진, AI 에이전트 '잔차 메모리' 기법 REMORY 공개
긴 작업을 수행하는 AI 에이전트가 대화 기록을 요약해 압축할 때 빠지는 정보를 별도의 '메모리 토큰'으로 보완하는 기법이 나왔다. 사전공개 논문 저장소 arXiv에 올라온 논문 초록에 따르면, 중국 푸단대와 SII가 함께 운영하는 Fusion Lab(Generative Vision Lab) 소속 한천 샤(Hanchen Xia) 등 연구진 8명은 「REMORY: Learning Residual Memory for Context Compaction」 논문(arXiv:2610.11287)에서 이 방법을 제안했다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 38회를 받았다.
이 연구는 요즘 AI 에이전트 개발에서 부딪히는 문제를 다룬다. 웹 검색이나 터미널 작업처럼 여러 단계를 거치는 에이전트는 작업이 길어질수록 대화와 도구 실행 기록이 쌓인다. 그런데 대형언어모델(LLM)이 한 번에 처리할 수 있는 입력 길이, 곧 컨텍스트 창에는 한계가 있다. 그래서 많은 에이전트가 지난 기록을 글로 요약해 압축(컴팩션)하고 작업을 이어간다. 연구진은 초록에서 "텍스트 요약만으로는 이후의 모든 판단을 뒷받침하지 못할 수 있다"고 지적했다. 요약 과정에서 빠진 세부 정보 때문에 에이전트가 이미 했던 작업을 되풀이하거나 실수를 하게 된다는 것이다.
REMORY는 요약문을 버리지 않고 그 뒤에 '소프트 메모리 토큰'을 정해진 길이만큼 덧붙이는 방식이다. 소프트 토큰은 사람이 읽는 단어가 아니라 모델 내부에서 쓰는 벡터 형태의 정보다. 별도의 신경망 메모리 네트워크가 전체 기록과 요약문을 함께 보고 이 토큰을 만든다. 학습 목표는 가중치를 고정한 LLM이 요약문과 메모리 토큰만 보고도 전체 기록을 봤을 때와 비슷한 출력을 내도록 하는 것이다. 토큰은 요약문을 조건으로 만들어져 요약문 바로 뒤에 붙는다. 연구진은 이 구조를 딥러닝의 잔차 연결(residual connection)을 시퀀스 방향에 적용한 것에 빗댔다. 요약이 큰 줄기를 맡고, 메모리 토큰은 요약이 놓친 '나머지'만 채운다는 뜻이다. 기반 LLM을 다시 학습시키지 않아도 된다는 점도 특징이다.
성능 평가는 여러 벤치마크에서 이뤄졌다. 여러 문서에서 핵심 내용을 뽑아 요약하는 능력을 보는 SummHay에서는 핵심 내용 포괄도(insight coverage)를 거의 그대로 유지하면서 출처 표기(source attribution) 정확도를 높였다. 입력 위치는 전체 맥락의 5.2%만 썼는데도 전체 맥락을 모두 넣었을 때의 종합 점수에 가까워졌다고 연구진은 밝혔다.
장기 에이전트 벤치마크에서는 Qwen3.8-27B와 GLM-5.3-Flash 두 모델 모두 잔차 메모리를 붙였을 때 성능이 꾸준히 올랐다. 웹 탐색 과제인 BrowseComp와 터미널 작업 과제인 Terminal-Bench 2.1에서는 같은 도구 출력을 반복하는 경우와 도구 오류가 크게 줄었다고 한다. 앞서 말한 '요약 손실로 인한 반복 행동' 문제를 직접 줄였다는 결과다. 다만 초록에는 벤치마크별 점수나 개선 폭이 나오지 않아 구체적인 수치는 확인되지 않았다. 메모리 네트워크를 학습하고 실행하는 데 드는 추가 비용이 얼마인지도 초록에는 나와 있지 않다.
이 논문은 동료평가를 거치지 않은 사전공개 논문이다. 이 기사는 저자들이 공개한 초록을 바탕으로 정리했다.