UserArena, 실제 쇼핑 기록 6만여 건으로 AI 쇼핑 에이전트 사용자 시뮬레이션 검증
장기간 이어지는 온라인 쇼핑 과정에서 AI 추천 에이전트를 평가할 수 있도록 실제 이용자의 행동 기록을 담은 벤치마크가 나왔다. 사전공개 논문 저장소 arXiv에 공개된 논문 「UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents」에 따르면, Jujia Zhao 등 연구자 9명은 실제 전자상거래 데이터를 바탕으로 한 대화형 벤치마크 'UserArena'를 공개했다. 이 벤치마크에는 이용자 1만1010명이 남긴 세션 궤적 6만4729건이 들어 있다. 상품은 56만6102개, 행동 유형은 13가지다. 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 23회를 받았다.
연구진이 주목한 분야는 '에이전트형 추천'이다. 상품 하나를 골라 주는 데서 그치지 않고, 쇼핑하는 사람의 목표를 이루기 위해 상황에 따라 판단을 여러 번 이어 가는 방식이다. 이런 추천 정책을 만들고 평가하려면 쇼핑 환경뿐 아니라 긴 상호작용 동안 이용자가 어떻게 반응하는지까지 충실하게 재현하는 '추천 세계 모델'이 필요하다고 연구진은 설명했다. 그런데 기존 자료 가운데 실제 이용자의 장기적이고 세밀한 행동 궤적을 제공하는 것은 드물었다. 궤적 단위 평가를 지원하거나, 실제 서비스의 A/B 테스트 결과와 맞춰 보는 오프라인 검증을 지원하는 자료도 마찬가지라는 것이 연구진의 문제의식이다.
UserArena는 이 공백을 겨냥했다. 실제 이용자 궤적에 대화형 환경을 결합했고, 통제된 조건에서 진행한 실서비스 A/B 테스트 결과와 시뮬레이션 결과를 오프라인으로 비교할 수 있게 했다. 평가는 다섯 단계로 나뉜다. 시뮬레이터의 출력이 형식에 맞는지 보는 '출력 타당성'에서 시작해 개별 시점의 '국소적 의사결정', 여러 단계에 걸친 '순차적 행동', 이용자별 차이를 반영하는 '개인화', 최종 '결과'까지 차례로 따진다. 응답 하나가 그럴듯한지만 보는 것이 아니라, 긴 쇼핑 과정 전체가 실제 이용자처럼 흘러가는지까지 단계별로 확인하는 구조다.
연구진은 벤치마크와 함께 사용자 시뮬레이터의 충실도를 높이는 학습 기법 'On-Policy Trajectory Distillation(OPTD)'도 제안했다. 학생 모델이 직접 생성한 행동 궤적(롤아웃) 위에서 교사 모델이 촘촘한 목표값을 제시하는 방식이다. 이때 궤적 전체에 담긴 이용자의 의도를 활용해 교사 신호를 만든다. 상호작용이 길어질수록 시뮬레이션된 이용자가 실제 행동에서 멀어지기 쉬운데, 이를 궤적 단위의 의도 정보로 보정하겠다는 접근이다.
실험 결과 OPTD는 UserArena의 평가 프로토콜에서 비교 대상 시뮬레이터 가운데 전체 충실도가 가장 높았다. 또 오프라인 시뮬레이션에서 실제 서비스 정책이 낸 효과를 가장 가깝게 재현했다고 연구진은 밝혔다. 실서비스 A/B 테스트 결과와 시뮬레이션 결과가 맞아떨어진다는 것은 새 추천 정책을 실제 이용자에게 내보내기 전에 시뮬레이터로 효과를 미리 가늠할 수 있다는 뜻이기도 하다.
이번 논문은 저자들이 공개한 초록을 바탕으로 정리했으며, 동료평가를 거치지 않은 사전공개 논문이다.
