구글 연구진, AI 에이전트용 ‘위키 메모리’ 제안…실수와 성공을 축적해 성능 개선

구글 연구진이 AI 에이전트가 과거의 실수와 성공을 축적해 다음 작업에 활용할 수 있도록 하는 프레임워크 ‘위키스킬(WikiSkill)’을 공개했다. 이 방식은 실행이 끝날 때마다 경험을 지워버리는 대신, 실패 패턴과 성공 전략을 위키처럼 정리해 지속적으로 쌓아두고, 이를 바탕으로 에이전트의 행동 지침인 ‘스킬(Skill)’을 개선하는 구조다. 연구진은 이를 통해 에이전트가 스스로를 더 잘 다듬어 가는 효과를 얻을 수 있다고 설명했다.

이번 연구는 AI가 사람처럼 연속적으로 학습하는 문제를 완전히 해결한 것은 아니지만, 그에 가까운 우회 방식을 제시한다는 점에서 주목된다. 모델 자체의 학습을 바꾸는 대신, 작업 과정에서 얻은 경험을 별도의 지식층에 저장하고 다음 실행 때 다시 불러오는 방식이다. 연구진은 이 접근이 앙드레 카파시가 제안한 ‘LLM 위키’ 개념에서 영향을 받았다고 밝혔다. 카파시는 경험을 누적 가능한 지식으로 정리하는 구조가 AI의 장기적 성능 향상에 도움이 될 수 있다고 본 바 있다.

위키스킬은 AI 에이전트의 작업 공간을 세 층으로 나눠 운영한다. 가장 아래의 ‘Raw Layer’에는 도구 호출과 결과를 포함한 실행 기록 전체가 그대로 저장된다. 그 위의 ‘Wiki Layer’에는 이 기록을 바탕으로 실패 유형과 성공 전략 같은 구조화된 지식이 정리된다. 이 지식층은 초기화되지 않고 계속 누적된다. 가장 위의 ‘Skill Layer’에는 에이전트가 실제 작업을 수행할 때 따르는 절차적 지침이 들어가며, 성능이 나빠지면 되돌릴 수 있다.

작동 방식은 이렇다. 먼저 추론 에이전트가 현재 스킬을 사용해 과제를 수행하고 실행 기록을 남긴다. 이후 ‘Wiki Maintainer’가 기록을 분석해 반복되는 실패와 유효한 전략을 위키에 적는다. 이어 ‘Skill Proposer’가 갱신된 위키와 실행 데이터를 바탕으로 스킬 수정안을 제안하고, 별도의 검증 절차가 이를 시험한다. 개선 효과가 확인되지 않으면 해당 스킬은 롤백되지만, 위키에 남은 기록은 유지된다. 연구진은 실패한 시도 역시 다음 개선의 재료가 된다고 설명했다.

연구진은 수학 추론, 웹 검색, 스프레드시트 조작, 문서 질의응답, 가상환경 상호작용 등 5개 벤치마크에서 이 프레임워크를 시험했다. 사용한 모델은 Qwen 3종(4B, 9B, 27B), Gemma-4-31B, Gemini-3.5-Flash였다. 결과적으로 위키스킬은 기존의 스킬 진화 방식보다 전반적으로 높은 성능을 보였고, 평균적으로 Gemini-3.5-Flash는 49.5%에서 68.1%로, Qwen-3.6-27B는 39.4%에서 63.3%로 향상됐다. 일부 과제에서는 상승 폭이 더 컸다. Gemini-3.5-Flash는 LiveMath에서 33.0%에서 72.6%로, SpreadSheet에서는 50.5%에서 76.6%로 올랐다.

다만 성과는 과제 유형에 따라 차이가 컸다. 수학 문제와 스프레드시트 작업에서는 개선 폭이 컸지만, 긴 문맥을 다루는 OfficeQA 같은 과제에서는 향상 폭이 상대적으로 작았다. 연구진은 작은 모델일수록 긴 문맥에서 복잡한 다단계 검색 전략을 안정적으로 수행하는 데 어려움을 겪는다고 설명했다. 반면 큰 모델은 더 큰 효과를 얻는 경향을 보였고, 작은 모델이 위키스킬을 적용하면 프레임워크를 쓰지 않는 더 큰 모델과 비슷한 수준까지 성능을 끌어올릴 수 있는 경우도 있었다. 모델 간에 스킬이 이전되는 사례도 있었지만, 항상 그런 것은 아니어서 전이 가능성은 과제별로 확인이 필요하다고 연구진은 밝혔다.