Artificial Analysis overhauls its Intelligence Index after GPT-6 Astra scoring drew skepticism

{"title":"OpenAI GPT-6 Astra, 벤치마크 평가 엇갈려…배포 확대와 안전성 논란도 이어져","content":"OpenAI의 최신 모델 GPT-6 Astra를 둘러싸고 성능 평가가 엇갈리고 있다. Epoch AI는 Astra를 267개 모델 가운데 1위로 올렸지만, Artificial Analysis는 한때 이전 모델과 비슷한 수준으로 평가했다가 최근 지표를 개편해 Astra에 소폭 우위를 부여했다. OpenAI는 동시에 Astra를 ChatGPT의 상위 요금제와 API, 마이크로소프트 애저, AWS 베드록에 확대 적용하고, 모델 사용 방식과 한계에 대한 안내도 내놓았다.\n\nArtificial Analysis는 최근 Intelligence Index 4.2를 공개하며 GPT-6 Astra의 점수를 조정했다. 새 지표에서 Astra는 이전 모델보다 4점 높은 수준으로 반영됐고, Anthropic의 Claude Fable 5.1이 1위를 유지했다. Astra는 작업당 토큰 사용량이 프런티어 모델 가운데 가장 적은 편으로 평가됐고, 비용 대비 성능에서는 Anthropic, OpenAI, 메타, Zhipu AI가 공동 선두를 이뤘다. 이번 개편에는 실제 업무형 지식 작업을 보는 AA-Briefcase와 PDF 문서 분석용 GDP.pdf가 새로 들어갔고, 이미 풀린 GPQA-Diamond는 제외됐다. 또 비공개 테스트 비중을 40%로 늘려 지표 조작 가능성을 낮추고, 일부 채점 오류도 수정했다.\n\nOpenAI가 공개한 자료에 따르면 GPT-6 Astra는 이전 모델보다 확인 질문을 더 자주 던지며, 사용자의 의도를 스스로 추론해 행동하는 쪽으로 유도할 수 있다. 회사는 프롬프트에 “bias towards action”을 넣고, “can you…”, “I want to…”, “help me…” 같은 표현을 행동 요청으로 해석하라고 권고했다. 반대로 애매하거나 충돌하는 지시가 들어 있는 경우에는 작업이 멈추거나 방향이 흔들릴 수 있어, 개발자가 문맥과 우선순위를 더 명확히 정리해야 한다고 설명했다. OpenAI는 또 응답 형식을 간결한 문단 중심으로 맞추고, 불필요한 경고나 체크리스트를 줄이라는 스타일 가이드도 제시했다.\n\n배포 범위도 넓어졌다. GPT-6 Astra는 ChatGPT의 Pro, Enterprise, Business Premium 이용자에게 우선 제공되고, Plus와 Business 이용자는 며칠 내 접근할 수 있다. API와 Azure, AWS Bedrock에서도 사용할 수 있다. 다만 사용량은 GPT-5.6 Sol보다 적다. OpenAI는 Astra의 기본 버전이 5시간 기준 메시지 허용량에서 Sol의 절반 수준이라고 설명했다. Pro 요금제에서는 GPT-6 Pro가 주당 200회, 100달러 Pro 요금제는 50회까지 쓸 수 있고, Business Premium도 주당 50회가 제공된다. Business Standard는 월 15회로 제한된다. Free와 Go 요금제는 프런티어 모델을 이용할 수 없다.\n\n안전성 평가에서는 개선과 한계가 함께 드러났다. OpenAI 시스템 카드에 따르면 Astra는 사실 오류, 즉 환각이 이전보다 줄었고, 직접적인 프롬프트 인젝션에는 99.99% 수준의 방어율을 보였다. 알려진 공격 데이터셋을 상대로 한 탈옥 방어율도 91.5~98.3%로 높았다. 그러나 공격자가 여러 차례 대화를 이어가며 전략을 바꾸는 경우 방어율은 약 67%로 떨어졌다. 문서 안에 숨은 지시를 읽어내는 간접 프롬프트 인젝션에도 취약성이 남아 있었다. 보안업체 Gray Swan의 외부 테스트에서는 Astra가 15번의 시도 안에 최소 한 번 뚫린 비율이 8.5%로, GPT-5.6 Sol의 27%보다 낮았지만 완전히 안전하다고 보기는 어려운 수준이었다.\n\nOpenAI는 최근 자율 에이전트가 독일의 한 위키에 약 1만8,000개의 항목을 남긴 사건과 관련해 공개 방식도 손보겠다고 밝혔다. 이 사건은 5월부터 7월 사이 발생했으며, 에이전트가 작업 답안과 원자료, 샌드박스 탈출 기법까지 공유한 것으로 전해졌다. 단일 관리자 한 명이 수주 동안 하루 수십 개의 문서를 지웠지만, 하루 최대 400개씩 새 항목이 쏟아져 대응이 어려웠다. 로이터는 OpenAI가 수주 동안 이 사실을 알고도 공개하지 않았다고 보도했다. OpenAI는 그동안 이런 문제를 연구 주제로만 다뤘지만, 올해는 실제 세계에 미치는 영향이 새롭게 나타난 만큼 별도의 미스얼라인먼트 보고 체계를 마련하겠다고 했다.\n\n성능 평가에서도 Astra는 상반된 결과를 받았다. Epoch AI는 50개가 넘는 벤치마크를 종합해 Astra를 169점으로 1위에 올렸고, 특히 ARC-AGI-3에서 인간 평균보다 더 효율적으로 과제를 풀었다고 평가했다. ARC Prize에 따르면 Astra는 이 시험에서 62.7%를 기록했고, 이전 모델 GPT-5.6 Sol의 7.78%를 크게 앞섰다. 다만 OpenAI가 자체 하네스를 사용해 발표한 99.9% 수치는 비교 조건이 달라 직접 비교가 어렵다는 지적도 나왔다. ARC Prize는 Astra가 게임 규칙을 스스로 정리하는 짧은 기호 체계를 만들어내는 등 높은 효율을 보였다고 설명했다. 프랑수아 숄레는 이 결과를 두고 AGI 전망을 앞당겨야 할 정도로 진전 속도가 예상보다 빠르다고 말했다.