CWE-bench v2, 보안 취약점 찾아 고치는 AI 평가 과제 100개 공개… Collinear AI
Collinear AI는 Hugging Face 블로그를 통해 AI 모델의 사이버보안 역량을 평가하는 벤치마크 CWE-bench v2를 공개하고, 누구나 실행할 수 있는 과제 100개를 내놨다. 에이전트는 실제 오픈소스 저장소와 짧은 지시문을 받는다. 기존 기능을 망가뜨리지 않으면서 보안 약점을 찾아 고치는 것이 과제다. 100개 과제는 서로 다른 CWE(공통 취약점 유형) 91종을 다루며, 채점은 모두 프로그램으로 자동 처리된다. 그래서 누가 돌려도 결과가 같고, 추가 비용 없이 재현할 수 있다.
평가한 모델 11개 가운데 Gemini 4 Argon이 pass@1 67.8%, pass@4 81.0%로 1위였다. Claude Opus 5.5는 pass@1 67.3%, pass@4 78.0%로 바로 뒤를 이었다. 95개 과제는 적어도 한 모델이 풀었지만, 1위 모델도 전체의 19%는 모든 시도에서 실패했다. 비용 대비 성능에서는 DeepSeek V4.1 Flash가 시도당 0.04달러에 pass@1 57.0%를 기록했다.
과제마다 Docker 환경과 검증기가 함께 들어 있어 Harbor 도구로 Hugging Face 저장소에서 바로 실행할 수 있다. 같은 환경을 방어용 에이전트를 학습시키는 보상 신호로도 쓸 수 있다.
앞서 보도한 기사
Gemini 4 Carbon (High), LMArena 대화 1위·코딩 4위…구글 신모델 상위권 진입
