애플 "LLM 출력 제어에는 대가가 따른다"… 효과와 유창성의 상충 관계 체계 분석 논문 공개
애플이 대규모언어모델(LLM)의 출력을 원하는 방향으로 조정하는 기법들이 문장 품질을 얼마나 떨어뜨리는지 체계적으로 따져본 연구를 내놓았다. 애플 머신러닝 연구(Apple Machine Learning Research) 사이트에 따르면, 애플은 지난 9월 30일 「On the Effectiveness-Fluency Trade-Off in LLM Conditioning: A Systematic Study(LLM 조건화에서 효과와 유창성의 상충 관계에 관한 체계적 연구)」라는 제목의 논문을 공개했다. 공개된 초록을 보면, 연구진은 효율적인 '스티어링(steering)' 기법이 원하는 조건화는 이뤄내지만 그 대가로 유창성이 크게 떨어지는 경우가 잦다고 밝혔다.
연구진은 초록에서 LLM의 출력을 제어하는 일이 모델을 믿고 배포하는 데 가장 중요한 과제라고 짚었다. 그런데도 이 과정에 어떤 상충 관계가 있는지는 아직 분명히 밝혀지지 않았다고 했다. 특히 지금까지의 조건화 기법은 목표 개념을 출력에 '주입'하거나 '제거'하는 효과만 좁게 평가했을 뿐, 생성된 문장의 품질은 제대로 따지지 않았다고 지적했다.
이를 확인하려고 연구진은 여러 조건화 기법을 주입과 제거 두 상황에서 모두 체계적으로 비교했다. 그 결과 효율적인 스티어링 기법은 조건화에 성공하더라도 유창성을 크게 희생하는 경우가 많았다는 것이 초록의 핵심이다. 초록에는 연구진이 '결정적인' 무언가를 추가로 찾아냈다는 대목도 있다. 다만 공개된 요약본은 이 부분에서 끊겨 있어, 무엇을 찾았는지는 이번 자료로는 확인되지 않았다. 어떤 기법들을 비교했는지, 어느 모델로 실험했는지, 유창성을 어떤 지표로 쟀는지도 초록만으로는 알 수 없다.
'조건화(conditioning)'는 모델이 특정 주제나 어조, 개념을 담아 답하게 하거나 반대로 특정 내용을 빼고 답하게 만드는 기법을 두루 이르는 말이다. 그중 스티어링은 모델을 다시 학습시키지 않고, 추론할 때 모델 내부 표현을 직접 건드려 출력 방향을 바꾸는 방식으로 주로 쓰인다. 재학습이 필요 없어 비용이 적게 든다는 점 때문에 주목받아 왔다. 이번 초록은 이런 '효율성' 뒤에 문장 품질 저하라는 비용이 숨어 있을 수 있다고 지적한 셈이다.
이 문제는 실제 서비스와 바로 맞닿아 있다. 유해하거나 원치 않는 내용을 걸러내도 답변이 어색하거나 문법이 무너지면 사용자 경험이 나빠진다. 반대로 문장이 매끄러워도 제어가 제대로 안 되면 신뢰성을 장담할 수 없다. 연구진이 '효과'와 '유창성'을 함께 평가해야 한다고 강조한 것도 이 때문으로 읽힌다. 기기 안에서 돌아가는 AI 기능을 늘리고 있는 애플로서는 출력 제어와 응답 품질을 함께 잡는 일이 현실적인 과제라는 점에서 이번 연구의 의미를 짚어볼 수 있다. 다만 이 연구가 애플의 특정 제품이나 서비스에 적용되는지는 확인되지 않았다.
애플은 연구 성과를 외부 논문 공유 플랫폼보다 자사 머신러닝 연구 사이트에 먼저 올리는 경우가 많다. 그래서 이 사이트는 애플의 AI 연구 방향을 엿볼 수 있는 창구로 여겨진다. 이번 논문이 동료 평가를 거쳤는지, 학회에 채택됐는지는 공개된 자료에서 확인되지 않았다.