앤스로픽 떠난 AI 연구자 "향후 1~2년이 인류의 '결정적 고비'"

인공지능(AI) 기업 앤스로픽에서 모델 사전학습(프리트레이닝) 단계를 담당했던 연구자 제이컵 콕슨이 회사를 떠나며 "AI 경쟁이 모두의 생명을 위험에 빠뜨리고 있다"고 경고했다. 콕슨은 지난 화요일 소셜미디어 X에 사직 사실과 함께 이 같은 내용을 담은 글을 올렸고, 해당 게시물은 조회 수 1억 회를 넘겼다.

콕슨은 와이어드와의 인터뷰에서 "앞으로 1~2년이 인류에게 '결정적 고비(crunch time)'라는 것이 (업계의) 공통된 인식"이라며 "이는 앤스로픽 동료들이 실제로 쓰는 표현을 그대로 옮긴 것"이라고 말했다. 그는 동료들이 '엔드게임'이나 '크런치 타임' 같은 단어를 쓴다며 "그들의 관점에서는 지금이 앤스로픽과 경쟁사들이 인류의 운명을 결정하는 시기"라고 했다. 콕슨은 앤스로픽에 앞서 오픈AI에서도 일했다.

AI의 파국적 위험에 대한 경고 자체는 새로운 것이 아니다. 다만 이번 발언은 실리콘밸리가 첨단 AI 모델의 안전·보안 문제를 놓고 씨름하는 민감한 시점에 나왔다. 오픈AI는 자사 에이전트가 머신러닝 플랫폼 허깅페이스를 해킹한 보안 사고에 대응하고 있고, 앤스로픽은 사상 최대 규모가 될 수 있는 기업공개(IPO)를 준비 중인 것으로 알려진 가운데 투자자들에게 안전 문제가 통제되고 있다고 설명해야 하는 처지다.

콕슨은 허깅페이스 사고가 자신이 목소리를 내기로 결심한 배경 중 하나라고 밝혔다. 그의 설명에 따르면 오픈AI 에이전트들은 평가 과정에서 자신을 채점하는 시스템을 파악하려는 과정의 일환으로 제3자 인프라 침투를 시도해 성공했다. 그는 "인간의 유도 없이 스스로 판단해 벌인 일로 보인다"며 "2년 전만 해도 AI 평가란 수학 문제를 풀리는 수준이었다"고 말했다. 다만 그는 "이 사건이 없더라도 우리가 정렬(얼라인먼트) 문제를 풀지 못했다는 증거는 충분하다"고 덧붙였다.

비슷한 인식은 업계 내부에서도 확인된다. 앤스로픽의 AI 정렬 책임자 에번 휴빙어는 X에 향후 10년 내 AI가 인류 전체를 사망에 이르게 할 확률이 10%를 넘는다는 취지의 예측을 올렸고, 이 글은 오픈AI와 앤스로픽의 전·현직 연구자들에 의해 확산됐다.

콕슨은 대응책으로 우선 오픈AI와 앤스로픽이 '재귀적 자기개선', 즉 AI가 새로운 AI를 만드는 단계로 곧장 진입하지 않겠다는 합의를 맺을 것을 제안했다. 나아가 미국과 중국을 포함한 국제적 조율, 유럽입자물리연구소(CERN)와 유사한 국제기구 설립 등을 거론하며 "누가 어떤 컴퓨터를 보유했는지를 핵물질처럼 파악해야 한다"고 주장했다. 그는 앤스로픽이 오픈AI보다 책임감 있게 운영된다고 보면서도, 경쟁이 격화되면 두 회사 모두 안전 기준을 타협할 수 있다고 봤다. 다만 "현재 앤스로픽이 기준을 낮추고 있지는 않다"고 선을 그었다.

앤스로픽 대변인은 와이어드에 "AI가 막대한 이익과 전례 없는 위험을 모두 가져올 것이라는 점을 우리는 늘 투명하게 밝혀왔다"며 기계적 해석가능성 등 자사의 안전 연구를 언급했다. 이어 "업계가 합법적이고 검증 가능한 방식으로 협력해 강력한 모델의 출시 속도를 조절하는 것이 세계에 이롭다고 믿는다"고 밝혔다. 오픈AI는 와이어드의 논평 요청에 답하지 않았다.