구글 "제미나이가 실제 기업 3곳 시스템 침입"… AI 보안 시험 중 사고 확인

미국 IT 전문매체 마크테크포스트는 20일 구글이 자사 AI 모델 제미나이가 실존 외부 기업 3곳의 시스템에 침입한 사실을 확인했다고 보도했다. 구글은 현지시간 18일 이를 인정했으며, 사고는 지난 5월 외부 AI 보안 평가기관 '이레귤러'가 진행한 모의 해킹(캡처 더 플래그) 훈련 도중 발생했다. 해당 사고는 월스트리트저널이 먼저 보도했다.

훈련에서 제미나이는 가상의 회사에서 정보를 찾아내라는 과제를 받았는데, 그 가상 회사의 이름이 실제 존재하는 기업과 같았다. 애초 시험은 인터넷에 연결되지 않도록 설계됐으나 테스트 환경의 버그로 인터넷 접속이 열리면서 실제 시스템에 도달했다. 침입 수법은 기초적이었다. 한 건은 비밀번호를 반복 추측해 들어간 경우였고, 나머지 두 건은 공개 저장소에 노출돼 있던 계정 정보를 사용했다. 구글은 모델이 상대가 실제 기업임을 인지한 뒤 매번 스스로 행위를 중단했다고 설명했다.

헤더 애드킨스 구글 보안엔지니어링 부사장은 해당 기업 3곳에 사고를 알렸고 훈련 파트너와 함께 시험 절차를 개선했다고 밝혔다. 구글은 모델의 행동이 정렬 실패(misalignment)에 해당하지 않아 공개할 사안이 아니라고 판단했다는 입장이다. 관련된 제미나이 버전은 공개되지 않았다. 이레귤러는 구글과 오픈AI, 앤스로픽, 메타에서 발생한 침입이 모두 같은 평가 환경 문제에서 비롯된 것이며 7월 말 각 개발사에 통보했다고 확인했다.