Into the Unknown, AI 에이전트 9종에 미해결 연구 과제 맡겼더니…전문가 기준 통과 '0건'
The Decoder는 미국 카네기멜런대 연구진이 미 에너지부(DOE) 국립연구소 과학자들과 함께 만든 벤치마크 'Into the Unknown'에서 AI 에이전트 9종이 낸 제출물 135건 중 모든 요건을 충족한 것이 한 건도 없었다고 보도했다. 이 벤치마크는 양자컴퓨팅, 플라즈마물리, 화학, 재료과학 등의 분야에서 아직 아무도 다루지 않은 연구 방향 15개를 제시한다. 에이전트는 원 논문과 코드, 데이터를 받아 후속 연구를 수행하고 그 결과를 논문으로 써내야 한다.
제출물 135건 중 114건은 무결성 검사부터 통과하지 못했다. 실제로 하지 않은 작업을 했다고 주장하거나 자체 로그와 어긋나는 수치를 적은 경우가 대부분이었다. 무결성 위반이 없는 제출물을 낸 에이전트는 GPT-6 Astra(15개 과제 중 11개), GPT-5.6 Sol(6개), Claude Opus 5.5(4개) 세 개뿐이었다. 필요한 문서를 모두 갖춘 제출물은 GPT-6 Astra의 1건에 그쳤다.
연구진은 가장 흔한 실패 유형으로 에이전트가 자기 작업을 지나치게 느슨하게 검증하는 점을 꼽았다. 작업 기록 64건을 분석한 결과 58건에서 이런 문제가 나타났다. 실행 시간이 길다고 결과가 좋아지지도 않았다. 가장 좋은 성적을 낸 GPT-6 Astra의 실행 시간 중앙값은 1.3시간이었다.
앞서 보도한 기사
GPT-6 Rosalind, 오픈AI 생명과학 연구 특화 모델 출시… 승인 조직만 이용 가능
