Arete-27B, Nous Research가 공개한 Qwen 개조 모델…중국 선전 답변 0.9%로 줄이고 상업 이용 허용
미국 AI 스타트업 Nous Research가 알리바바의 오픈 웨이트 모델 Qwen3.8-27B를 미세조정해 중국 정부 선전성 답변을 크게 줄인 새 모델 'Arete-27B'를 공개했다. 독일 AI 전문매체 The Decoder와 미국 MarkTechPost(11월 7일)의 보도를 종합하면, 자체 평가에서 선전성 답변 비율은 22%에서 0.9%로 떨어졌고 일반 성능은 거의 그대로였다. 가중치는 Apache 2.0 라이선스로 공개돼 상업적으로도 쓸 수 있다.
두 매체가 함께 전한 핵심 수치는 803개 프롬프트로 만든 평가셋, 선전 비율 22%에서 0.9%로의 감소, 그리고 사내 벤치마크 'Hermes Bench' 점수 65.60%다. MarkTechPost는 이 세 가지를 간단히 정리했고, The Decoder는 평가 방법과 학습 과정, 업계 맥락까지 자세히 다뤘다.
The Decoder에 따르면 Nous는 중국산 오픈 웨이트 모델이 성능은 최상위권이지만 국가가 요구하는 행동 방식이 가중치에 박혀 있다고 본다. 실제로 Qwen3.8-27B에서는 답변 거부, 얼버무리기, 중국공산당 입장과 같은 응답이 나왔다. 이에 Nous는 표현의 자유, 국가 이념, 교육, 프라이버시와 감시, 민주주의, 환경 등 7개 범주로 평가셋을 짰다. 프롬프트마다 법률, 보도, 논문 같은 날짜가 있는 자료에서 사실 2~4개를 정해두고, 답변이 그 사실을 언급했는지, 빠뜨렸는지, 반박했는지를 채점했다. 채점은 xAI의 Grok 4.7이 맡았다. 채점 모델은 어느 모델의 답변인지 모르는 상태에서 근거가 되는 문구를 직접 인용해야 한다. 베이징의 공식 서사를 사실 대신 내놓거나, 지지하거나, 동등하게 타당한 관점처럼 소개하면 선전으로 분류된다.
원본 Qwen3.8-27B는 사실 정확도 5점 만점에 2.32점을 받았다. 같은 평가에서 Mistral Large 4와 Gemma 4 31B의 선전 비율은 1% 미만이었고, GLM-5.3과 DeepSeek V4.1 Flash는 각각 15%, 16%였다. Nous는 약 5,300만 토큰으로 2에폭 동안 지도 미세조정(SFT)만 했다. 강화학습이나 선호 최적화는 쓰지 않았고, 학습 데이터와 평가 프롬프트가 겹치는 부분은 미리 뺐다. 교사 모델로는 Thinking Machines Lab의 Inkling을 골랐다. 증류를 금지하는 이용약관을 어기지 않으려는 선택이었다. 후보였던 엔비디아의 Nemotron 3 Ultra는 중국 관련 주제에서 이상 징후를 보여 제외됐다. Nous는 중국 오픈 웨이트 모델로 학습하면서 편향이 옮아갔을 것으로 의심한다. Inkling 역시 합성 학습 데이터를 만들 때 중국 모델 Kimi K2.5 등을 활용했다.
그 결과 Arete-27B의 사실 정확도는 2.98점으로 올랐다. 변화가 가장 큰 범주는 표현의 자유였다. 사실 점수가 0.89점에서 2.44점으로 뛰었고 선전 비율은 60%에서 1%로 내려갔다. 추론 모드를 켜면 3.07점이지만, 이는 다섯 번 중 두 번만 실행한 결과다. Hermes Bench 점수는 기반 모델 65.77%와 비슷한 65.60%였다. Terminal-Bench 2.1 점수는 67%에서 70%로 올랐지만, 테스트 설정이 달라 Nous는 이를 실제 성능 향상으로 보지 않았다. Nous는 중국 정렬 모델의 편향이 학습 후반에 얇게 덧입혀진 층이라 잘 고른 데이터 5,000만 토큰 정도면 그 아래를 건드리지 않고 걷어낼 수 있다고 결론 내렸다.
The Decoder는 중국 모델의 편향을 짚은 다른 연구도 소개했다. 2025년 뉴스가드 조사에서는 Qwen을 포함한 주요 모델 5종이 친중 허위정보를 60%의 경우 되풀이하거나 바로잡지 않았다. 크라우드스트라이크는 파룬궁, 티베트, 대만이 언급된 요청에서 DeepSeek이 보안이 더 약한 코드를 만든다는 사실을 확인했다. 알레프 알파가 정치적으로 민감한 질문 967개로 시험했을 때 알리바바, DeepSeek, 문샷AI 모델의 균형 잡힌 답변은 17~41%에 그쳤다. ValsAI 연구에서는 GLM-5.3 Flash가 인권 침해를 인정한 반면 Kimi K3는 수용소의 존재를 부인했다. 서방 모델도 가끔 베이징의 입장을 따랐고, 여기서도 표적 미세조정이 효과를 냈다.
두 보도를 나란히 놓으면 강조점이 갈린다. MarkTechPost는 '선전은 줄고 성능은 유지됐다'는 결과에 집중해 Arete-27B를 바로 가져다 쓸 수 있는 공개 모델로 소개했다. The Decoder는 그 결과에 이르는 과정을 파고들었다. 채점 방식, 교사 모델 선택, 편향이 오염된 학습 데이터를 따라 서방 모델로 번질 수 있다는 점까지 짚었다. 두 시각을 합치면 이번 공개는 모델 하나의 출시를 넘어선다. 중국 모델의 편향이 얕은 층이라 제거할 수 있다는 사실과, 그 편향이 증류와 합성 데이터를 거쳐 다른 모델로 퍼질 수 있다는 사실이 함께 드러난다.
Arete-27B는 중립을 내세웠던 2024년 Hermes 3과 달리 '서구적 가치'를 표방한다. Hermes 3은 시스템 프롬프트에 설정한 세계관에 맞춰 움직이도록 설계된 모델이었다. Nous는 지난 10월 로봇 벤처스가 주도하고 엔비디아와 삼성이 참여한 시리즈 B에서 기업가치 15억 달러를 인정받아 9,000만 달러를 유치했고, 이 자금으로 'Hermes for Businesses'를 앞세워 기업 시장에 진출하고 있다. Arete-27B의 가중치와 평가 데이터셋, 학습 데이터는 모두 Apache 2.0 라이선스로 허깅페이스에 올라와 있다.
