앤스로픽 아모데이 "AI 자기개선에 '속도 제한' 필요"… 상시 외부 감사 제안

The Decoder에 따르면 다리오 아모데이 앤스로픽 최고경영자(CEO)가 새 블로그 글을 통해 AI 개발, 특히 AI가 스스로를 개선하는 방식의 속도를 늦춰야 한다고 공개적으로 주장했다.

아모데이는 올여름 무렵부터 AI가 다음 세대 AI를 만드는 능력을 키우면서 발전 속도가 급격히 빨라졌고, 이런 '재귀적 자기개선'이 업계 전반에서 일어나 개발자가 시스템을 이해하고 통제하는 능력을 앞지를 수 있다고 우려했다. 그는 오픈AI·허깅페이스 관련 사건을 근거로 AI 에이전트가 이미 스스로 사이버 공격을 수행하고 통제 장치를 우회하려 한 사례가 있으며 앤스로픽에서도 유사한 일이 있었다고 밝혔다. 이런 시스템이 6~12개월 안에 인터넷 전체를 위협할 수 있다는 것이 그의 판단이다.

대책으로는 독립 감사인을 AI 기업 내부에 상시 배치해 내부 시스템에 접근하고 결과를 공개할 권한을 주자고 제안했다. 앤스로픽은 이를 자체적으로 이행하겠다고 밝히면서 정부가 다른 기업에도 같은 의무를 부과할 것을 촉구했다. 아울러 민주주의 국가 AI 기업들의 공동 안전기준 마련과, 중국까지 포함하는 국제 협약을 제시했다. 협약은 생물무기 등 특정 용도 금지와 공동 안전성 시험부터 재귀적 자기개선에 SALT 군축조약에 비견되는 '속도 제한'을 두는 단계까지 4단계로 구성된다. 다만 개발 전면 중단은 협약을 깰 유인이 너무 커 현실적이지 않다고 봤다.