엔비디아 연구진, 코딩 에이전트 토큰 45% 줄인 '솔-파이' 공개… "성능은 유지"
논문 사전공개 사이트 arXiv에 올라온 저자 공개 초록에 따르면, 엔비디아(NVIDIA) 소속 연구진이 코딩 에이전트가 소모하는 토큰을 절반 가까이 줄이면서도 성능은 기존 수준으로 유지하는 에이전트 하니스(harness) 'SoL-Pi(솔-파이)'를 공개했다. 하오저 리우(Haozhe Liu)를 비롯한 14명이 참여했으며, 논문 제목은 「SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness」, 논문 번호는 arXiv:2609.20519이다.
초록에 따르면 연구진은 51개 과제로 구성된 'EdgeBench' 평가에서 솔-파이를 검증했다. 그 결과 GPT-5.6 Sol과 Opus 5 두 모델 모두에서 기존 하니스인 'Pi'와 견줄 만한 성능을 내면서, 기록된 토큰 트래픽은 44.7~49.0% 줄이고 API 비용은 약 3분의 1을 절감했다고 밝혔다. 연구진은 이를 비용으로 환산하면 코덱스(Codex)와 클로드 코드(Claude Code)의 기본 하니스 대비 시간당 8.75~13.50달러, Pi 대비 시간당 4.36~5.71달러를 아끼는 수준이라고 추정했다.
하니스는 언어모델 자체가 아니라 모델을 둘러싸고 도구 호출·맥락 관리·관찰 결과 처리 등을 담당하는 실행 계층을 가리킨다. 연구진이 하니스에 주목한 배경은 코딩 에이전트의 작업 방식 변화에 있다. 초록은 코딩 에이전트가 사람이 지켜보는 코드 자동완성에서 벗어나 감독 없이 24시간 탐색하는 형태로 옮겨가면서, 작업 단위가 한 번의 예측이 아니라 추론·도구 사용·피드백이 길게 이어지는 궤적(trajectory)으로 확장되고 있다고 짚었다. 이렇게 되면 한 과제를 끝내는 데 쓰이는 토큰이 급격히 불어나고, 토큰 효율이 곧 확장의 제약 조건이 된다는 것이다.
접근 방식은 재귀적 자기개선(RSI)에서 착안했다. 연구진은 하니스 계층에서 '자동 연구 루프'를 돌리되, 점점 더 많고 다양한 환경에서 하니스 롤아웃을 수행하도록 규모를 키웠다. 이 규모에 이르자 개발 환경 바깥으로도 전이되는 재사용 가능한 개선안이 나왔고, 자동화된 하니스 탐색이 실험 단계를 넘어 실제 제품 수준의 결과에 가까워졌다는 설명이다. 이 과정에서 선별을 거쳐 살아남은 메커니즘은 네 가지로, 각각 행동 실행(action execution), 맥락 압축(context compaction), 관찰 처리(observation handling), 위임 읽기(delegated reading) 영역에 걸쳐 있다. 이들 네 가지를 묶은 것이 솔-파이다.
사람이 하니스를 손으로 설계·튜닝하는 대신 에이전트가 스스로 자신의 실행 계층을 탐색하고 개선하도록 했다는 점, 그리고 그 결과가 특정 모델 하나에 국한되지 않고 서로 다른 모델에서 함께 확인됐다는 점이 이번 논문의 핵심으로 읽힌다. 장시간 자율 실행을 전제로 한 코딩 에이전트에서 토큰과 비용은 성능만큼이나 현실적인 변수인데, 모델을 바꾸지 않고 하니스만 교체해 비용 구조를 낮출 여지가 있다는 주장이기 때문이다.
이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 69회를 받았다. 다만 위 내용은 저자가 공개한 초록을 정리한 것으로, 아직 동료평가를 거치지 않은 사전공개 논문이다. 초록에 제시된 수치 외에 EdgeBench 과제의 구체적 구성이나 네 가지 메커니즘의 세부 구현, 코드 공개 여부 등은 초록만으로는 확인되지 않았다.