LASAGNA로 본 RAG 기법 조합의 함정…IBM "따로 좋은 기법, 합치면 효과 줄어"
검색증강생성(RAG)에 쓰이는 기법을 여럿 함께 적용하면 하나씩 따로 쓸 때 얻은 성능 향상이 그대로 더해지지 않는다는 연구 결과가 나왔다. IBM 소속 이도 레비(Ido Levy) 등 연구자 3명은 사전공개 논문 저장소 arXiv에 논문 「Retrieval Augmented Generation Compositionality」를 올렸다. 논문에 따르면 검색 기법 세 가지의 개별 효과를 합산하면 성능이 47% 오를 것으로 예측됐지만, 실제로 세 기법을 함께 적용했을 때 개선 폭은 17%에 그쳤다. 연구진은 실험에 쓴 오픈소스 평가 프레임워크 'LASAGNA'도 함께 공개했다.
RAG는 대규모언어모델(LLM)이 외부 지식을 찾아 참조한 뒤 답변하게 하는 기술이다. 요즘 RAG 파이프라인은 여러 단계로 이뤄진다. 문서를 벡터로 바꾸는 임베딩, 문서를 작은 단위로 나누는 청킹, 검색, 검색 결과의 순서를 다시 매기는 리랭킹, 질문을 보강하는 질의 확장, 모델에 넣을 맥락을 줄이는 컨텍스트 압축, 에이전트 방식의 검증까지 들어간다. 그런데 연구진은 이런 기법들이 대개 하나씩 따로 평가돼 왔다고 짚었다. 따로 잰 성능 향상이 여러 기법을 묶었을 때도 유지되는지, 검색 품질과 답변 충실도가 같은 설계를 선호하는지, 작은 문서 집합에서 얻은 결론이 대규모 환경에서도 통하는지는 아직 제대로 검증되지 않았다는 것이다.
연구진은 이 세 가지 질문에 맞춰 가설 세 개를 실험 전에 미리 밝혀 두고 검증에 나섰다. 8개 벤치마크에서 450개 구성을 시험했고, 검색 대상 문서 집합(코퍼스)은 5천 건에서 20만 건까지 규모를 달리했다.
결과는 세 가지로 정리된다. 첫째, RAG 파이프라인의 서로 다른 단계에서 각자 뛰어난 성능을 보인 기법이라도 함께 쓰면 효과가 꼭 더해지지는 않았다. 앞서 말한 47% 예측과 17% 실측의 차이가 대표적인 사례다. 둘째, 각 구성 요소의 향상 효과가 검색 품질과 답변 충실도에서 서로 다르게 쌓였다. 한쪽을 최적화하면 다른 쪽이 나빠질 수도 있었다. 관련 문서를 잘 찾아오도록 맞춘 설정이 원문에 충실한 답을 내는 데까지 도움이 된다고 볼 수는 없다는 의미다. 셋째, 코퍼스가 커지면 최적의 조합도 바뀌었다. 작은 코퍼스에서 가장 좋았던 조합이 대규모 환경에서는 1위 자리를 지키지 못할 수 있었다.
연구진은 이를 근거로 기법을 하나씩 떼어 측정한 성능 향상은 실제 환경의 성능을 믿을 만하게 예측하지 못한다고 결론 내렸다. 새로운 RAG 기법은 주변 구성 요소를 모두 갖춘 전체 파이프라인 안에서 시험해야 한다는 주장이다. 연구진은 다른 연구자들에게도 이런 방식의 평가를 요청하면서, 그런 실험을 쉽게 할 수 있도록 LASAGNA를 내놨다고 설명했다. LASAGNA는 통제된 조건에서 RAG를 평가하기 위한 프레임워크다.
이번 결과는 RAG 시스템을 만드는 개발자에게도 시사점이 있다. 논문의 결론대로라면 기법마다 따로 보고된 향상 수치를 보고 '좋은 기법'을 차례로 쌓아 올리는 방식으로는 기대한 성능을 얻기 어렵다. 소규모 시험 환경에서 고른 조합이 실제 서비스 규모의 문서 집합에서도 최선이라고 장담하기도 힘들다. 검색 성능과 답변 충실도 가운데 무엇을 우선할지도 설계 단계에서 따로 따져야 한다는 얘기가 된다.
이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 28회를 받았다. 논문 번호는 arXiv:2610.29722이며 원문은 arXiv(https://arxiv.org/abs/2610.29722)에서 볼 수 있다. 이 기사는 저자들이 공개한 초록을 바탕으로 정리했으며, 해당 논문은 동료평가를 거치지 않은 사전공개 논문이다.
