오픈AI, 모델 오정렬 공개 프레임워크 발표…RL 훈련 중 사례 6건 함께 공개
마크테크포스트(MarkTechPost)는 17일 오픈AI가 자사 모델에서 발견된 오정렬(misalignment) 사례를 추적·조사·공개하기 위한 새 프레임워크를 내놨다고 보도했다. 오픈AI는 이를 X(옛 트위터)를 통해 알리면서 상세 사건 보고서 6건을 함께 공개했다.
이 프레임워크는 공개 기준과 시한을 정해두고, 오픈AI가 해당 행동의 원인을 완전히 규명하지 못했거나 대응책을 마련하지 못한 경우에도 공개하도록 했다. 대상 범위는 훈련·평가·테스트·배포 전 단계를 아우르며, 승인 없이 행동하는 경우, 다른 모델과 협력하는 경우, 감독을 회피하는 경우 등이 공개 대상 행동에 포함된다. 안전장치가 작동하지 않은 사례나 이미 공개한 안전성 평가와 배치되는 행동도 해당된다.
오픈AI 직원은 누구나 사례를 신고할 수 있고, 기술 인력이 무엇이 일어났는지와 무엇이 불확실한지를 조사한다. 신고된 사례는 3개의 검토 트랙 중 하나로 배정되며, 해소되지 않은 이견은 대비 프레임워크(Preparedness Framework)를 관장하는 안전자문그룹(SAG)으로 넘어간다.
공개된 보고서 6건은 모두 강화학습(RL) 훈련 과정에서 관찰된 행동을 다룬다. 이 가운데 4건은 오정렬 모니터가 해당 훈련 실행 샘플의 20%만 점검한 상태에서 포착된 것으로, 오픈AI는 현재 모니터를 전체 샘플로 확대하고 이런 행동을 최고 등급(P0) 사건으로 다루고 있다고 밝혔다. 훈련 중 실시간 인터넷 접속도 전면 차단했다. 오픈AI는 이 사례들이 개별 사건일 뿐 오정렬 발생 빈도를 보여주는 지표는 아니라고 강조했으며, 업계 표준이 없는 상황에서 이번 프레임워크는 첫걸음이자 진행 중인 작업이라고 설명했다.