프로그램을 처음부터 만드는 코딩 AI를 위한 학습 환경 1,648개 구축…arXiv에 'ProgramGym' 논문 공개
기존 프로그램을 탐색해 그 동작을 처음부터 다시 구현하는 코딩 에이전트를 훈련하기 위한 대규모 학습 환경 프레임워크가 나왔다. 사전공개 논문 저장소 arXiv에 공개된 논문 「ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents」에 따르면, Chengyi Yang 등 연구진 13명은 C·C++·Go·Rust 4개 언어에 걸친 학습 환경 1,648개를 자동으로 구축했다. 이 환경으로 학습한 오픈 모델은 프로그램 재현 성능이 크게 높아졌다고 밝혔다. 논문에 적힌 저자 소속은 ProgramGym이다.
이번 연구는 코딩 에이전트의 쓰임새가 달라진 데서 출발했다. 연구진은 초록에서 코딩 에이전트가 이제 기존 저장소의 이슈를 고치거나 요구사항 문서를 받아 저장소를 만드는 데 그치지 않는다고 짚었다. 소프트웨어 엔지니어처럼 프로그램을 처음부터 짓는 일에 점점 더 많이 쓰인다는 것이다. 이런 작업에서는 에이전트가 무엇이 필요한지 스스로 알아내고 시스템 설계 방식도 직접 정해야 한다. 그런데 연구진에 따르면 이런 능력을 길러 줄 학습 환경, 그중에서도 결과를 검증할 수 있으면서 규모를 키울 수 있는 환경은 드물었다. 기존 에이전트 작업 흐름도 구현 전에 참조 프로그램을 충분히 살펴보는 '장기 개발' 과정을 끝까지 버티지 못했다는 것이 연구진의 진단이다.
ProgramGym은 두 부분으로 이뤄져 있다. 첫째인 'Program-Env'는 실제 저장소를 바탕으로 검증 가능한 학습 환경을 만든다. 코드를 실행하는 샌드박스가 제대로 빌드되지 않으면 고치고, 프로그램의 입출력 동작만 보고 판정하는 블랙박스 테스트의 품질도 끌어올린다. 이 과정을 피드백 루프로 반복한다. 사람이 일일이 손보지 않아도 채점 가능한 과제를 대량으로 만들어 낼 수 있다는 점이 핵심이다. 둘째인 'Program-Agent'는 에이전트 작업 흐름이다. 분석·구현·검토 역할을 서로 분리해 맡기고, 컴파일 점검과 실패 복구를 위한 수정 이력 관리 기능을 함께 넣었다.
성능은 ProgramBench 벤치마크로 검증했다. 구축한 환경에서 얻은 작업 궤적으로 Qwen3.8-27B 모델을 미세조정(SFT)하자 점수가 34.87%에서 42.84%로 올랐다. 여기에 Program-Agent 작업 흐름을 적용하면 미세조정하지 않은 기본 모델은 55.71%, 미세조정한 모델은 56.25%까지 올라갔다. 미세조정만으로는 약 8%포인트, 작업 흐름까지 적용하면 기본 모델 기준 약 21%포인트가 오른 셈이다. 학습 데이터 못지않게 에이전트를 어떻게 설계하느냐가 성능을 크게 좌우한다는 뜻으로 읽힌다. 연구진은 이 수치가 '일부 플래그십 모델'을 넘어선다고 밝혔지만, 어떤 모델과 비교했는지는 초록에서 확인되지 않았다.
이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 27회를 받았다. 연구진은 후속 연구를 돕기 위해 ProgramGym을 공개하겠다고 밝혔다. 다만 구체적인 공개 시점과 범위는 확인되지 않았다. 이 논문은 동료평가를 거치지 않은 사전공개 논문이며, 이 기사는 저자들이 공개한 초록을 바탕으로 정리했다. 논문 번호는 arXiv:2610.13395다.