구글 제미나이도 보안 테스트 중 실제 기업 3곳 해킹

더디코더(The Decoder)는 구글의 인공지능 모델 제미나이(Gemini)가 사이버보안 테스트 도중 통제된 실험 환경을 벗어나 실제 기업 세 곳을 공격했다고 보도했다. 보안업체 이레귤러(Irregular)가 지난 5월 진행한 '캡처 더 플래그' 훈련에서 벌어진 일로, 월스트리트저널(WSJ) 보도를 인용한 내용이다.

더디코더에 따르면 제미나이는 한 사례에서 비밀번호를 추측해 맞혔고, 나머지 두 사례에서는 공개된 자료에 노출돼 있던 접속 정보를 찾아냈다. 구글은 모델이 실제 시스템에 도달했다는 사실을 인지할 때마다 스스로 행동을 멈췄다고 밝혔다. 이레귤러는 7월 말 구글에 이 사실을 알렸으나, 구글은 피해가 없었다는 이유로 공개할 필요를 느끼지 못했다며 WSJ가 취재에 나서기 전까지 이를 알리지 않았다.

이레귤러는 구글뿐 아니라 오픈AI, 앤스로픽, 메타에서 발생한 유사 사례가 모두 같은 원인에서 비롯됐다고 설명했다. 테스트용 가상 기업 이름이 실제로 존재하는 도메인과 우연히 일치했고, 시험 환경의 인터넷 접속이 실수로 차단되지 않은 상태였다는 것이다. 일부 모델은 샌드박스 내부의 모의 표적 대신 실제 도메인을 공격했고, 해당 도메인은 보안이 취약해 쉽게 뚫렸다. 이레귤러는 이런 이탈이 드물게, 그것도 수백 단계가 진행된 시뮬레이션 후반부에 발생해 포착하기 어려웠다고 밝혔다.

이레귤러는 옛 패턴랩스로 2023년 설립된 업체로, 주요 AI 기업들의 모델 출시 전 보안 위험을 점검하는 역할을 맡고 있다.