오픈AI, 정신건강 대화 평가용 벤치마크 'MentalHealthBench' 공개

오픈AI(OpenAI)가 정신건강 관련 대화에서 AI의 응답을 평가하는 벤치마크 'MentalHealthBench'를 공개했다고 OpenAI News를 통해 밝혔다. 발표 날짜는 자료에 나와 있지 않다.

오픈AI는 MentalHealthBench를 '전문가 자문을 바탕으로 만든(expert-informed)' 벤치마크라고 소개했다. 현실에 가까운 정신건강 대화 상황에서 AI가 얼마나 도움이 되면서도 안전하게 답하는지를 평가하는 것이 목적이다. 오픈AI는 '도움이 되는 응답'과 '안전한 응답'을 함께 평가 기준으로 제시했다.

다만 공개된 소개문에는 벤치마크의 세부 구성이 나와 있지 않다. 참여한 전문가가 누구이고 몇 명인지, 평가 대화가 몇 건인지, 채점은 어떻게 하는지는 확인되지 않았다. 어떤 AI 모델을 평가했고 결과가 어땠는지, 벤치마크를 외부에 공개하는지도 소개문만으로는 알 수 없다.