애플, 언어모델이 수식 구조를 말로 옮기면 얼마나 남는지 측정하는 '왕복' 실험 논문 공개
애플이 대형 언어모델(LLM)이 구조화된 정보를 자연어로 바꿔 주고받을 때 내용이 얼마나 보존되는지를 측정하는 연구 논문을 내놨다. 애플 머신러닝 연구 사이트(Apple Machine Learning Research)에 따르면, 애플은 지난 9월 29일 「The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models」(소통의 병목: 언어모델의 트리 구조 표현 직렬화에 대한 왕복 연구)라는 제목의 논문을 이 사이트에 올렸다.
논문이 다루는 문제는 언어모델의 '말로 생각하기' 방식이다. 초록에 따르면 언어모델은 사고의 사슬(chain-of-thought) 방식으로 추론하거나 자유 형식 텍스트로 중간 결과를 주고받을 때 구조화된 정보를 자연어로 '직렬화'한다. 연구진은 이 과정을 일종의 병목으로 보고, 트리 구조를 가진 조합적 내용이 이 병목을 거친 뒤 얼마나 살아남는지를 물었다.
이 질문에 답하려고 연구진은 '왕복(round-trip)' 프로토콜을 제안했다. 먼저 생성 모델이 절차적으로 만든 산술식을 문장형 문제(word problem)로 바꾼다. 이어 별도의 추출 모델이 원래 식은 보지 못한 채 문장형 문제만 읽고 식을 복원한다. 복원한 식이 원래 식과 같은지는 기호적 동치(symbolic equivalence)로 판정한다. 산술식은 수학적으로 같은지 아닌지를 정확히 가릴 수 있어서, 사람의 평가나 다른 모델의 판단에 기대지 않고 정답 여부를 분명하게 정할 수 있다는 점이 이 설계의 특징이다.
초록에 따르면 연구진은 모델 16종을 생성 모델과 추출 모델로 짝지을 수 있는 모든 조합을 평가했다. 다만 공개된 초록 요약은 이 대목에서 끊겨 있어, 구체적인 실험 결과와 결론은 확인되지 않았다. 평가에 쓴 16종이 어떤 모델인지, 애플 자체 모델이 포함됐는지도 초록만으로는 확인되지 않는다. 논문이 동료평가를 거쳤는지나 학회에 채택됐는지도 밝혀지지 않았다.
이 연구가 나온 배경에는 언어모델 활용 방식의 변화가 있다. 최근 AI 시스템은 모델 하나가 곧바로 답을 내는 대신, 중간 추론 과정을 텍스트로 길게 쓰거나 여러 모델이 자연어로 결과를 주고받으며 일을 나누는 구조로 바뀌고 있다. 이런 구조에서는 수식이나 계층 관계처럼 구조를 가진 정보가 매 단계 문장으로 바뀌었다가 다시 해석된다. 그 과정에서 정보가 빠지거나 뒤틀리면 최종 결과의 정확도가 떨어질 수 있다. 애플 연구진의 실험은 이 손실을 '말로 옮기고 다시 복원하기'라는 단순한 틀로 수치화하려는 시도로 볼 수 있다.
생성 모델과 추출 모델을 따로 두고 모든 조합을 비교한 설계도 눈여겨볼 만하다. 이렇게 하면 어떤 모델이 정보를 잘 '전달'하는지와 어떤 모델이 잘 '복원'하는지를 나눠서 볼 수 있다. 다만 실제로 어떤 차이가 나왔는지는 초록에서 확인되지 않았다.
애플은 연구 성과를 외부 논문 공유 플랫폼보다 자사 머신러닝 연구 사이트에 먼저 공개하는 경우가 많다. 그래서 이 사이트는 애플의 AI 연구 방향을 엿볼 수 있는 창구로 여겨진다. 논문 원문은 애플 머신러닝 연구 사이트(machinelearning.apple.com)에 공개돼 있다.