Split-and-Scale Latent 3D Representations, 애플이 3D 생성 모델의 세밀한 묘사 한계를 다룬 논문 공개

애플이 3D 생성 모델이 복잡한 물체의 세부를 제대로 표현하지 못하는 문제를 다룬 논문을 공개했다. 애플 머신러닝 연구(Apple Machine Learning Research) 사이트에 따르면, 애플은 2026년 11월 16일 「Split-and-Scale Latent 3D Representations」라는 제목의 논문을 올렸다. 논문은 3D 장면과 물체를 압축해 담는 '잠재 3D 표현(latent 3D representation)'의 용량 한계를 짚고, 이 한계를 넘어설 방법을 제시한다.
잠재 3D 표현은 3D 형상을 그대로 저장하지 않는다. 형상의 특징을 적은 수의 숫자 묶음, 즉 '잠재 변수(latent)'로 압축해 저장한다. 논문 초록은 이 방식이 오늘날 형상 모델링의 가능성을 크게 넓혔다고 설명한다. 3D 장면을 작게 압축할 수 있고, 이를 바탕으로 성능 좋은 3D 생성 모델도 만들 수 있게 됐다는 것이다. 텍스트나 이미지를 입력하면 3D 물체를 만들어 주는 생성 AI도 대부분 이런 압축 표현 위에서 작동한다.
하지만 연구진은 지금의 표현 방식으로는 복잡한 물체의 세부를 잘 담아내지 못한다고 지적했다. 근본 원인으로는 잠재 변수의 용량, 다시 말해 압축된 공간에 담을 수 있는 정보의 양에 한계가 있다는 점을 꼽았다. 정교한 장식이나 얇은 구조, 복잡한 표면처럼 정보가 많이 필요한 부분일수록 압축 과정에서 사라지기 쉽다는 뜻이다.
용량을 늘리면 될 것 같지만 초록은 이것도 쉽지 않다고 설명한다. 학습 단계에서 잠재 용량을 키우면 계산 비용이 크게 늘고, 메모리 한계 때문에 아예 불가능한 경우도 많다. 그렇다고 학습을 마친 모델을 쓰는 추론 단계에서 잠재 변수 개수만 단순히 늘리면, 늘어난 용량을 제대로 활용하지 못한다. 학습할 때와 같은 크기로는 세부를 담지 못하고, 학습 뒤에 용량을 키우는 것도 효과가 없다는 것이 연구진이 정리한 문제다. 연구진은 이 두 가지 제약을 함께 풀어야 할 과제로 내세웠다. 논문 제목에 들어간 '나누다(Split)'와 '키우다(Scale)'라는 두 단어도 이 문제의식과 맞닿아 있다.
이번 연구는 3D 생성 AI가 공통으로 겪는 문제를 겨냥했다는 점에서 의미가 있다. 3D 생성 모델은 게임·영상 제작용 에셋, 증강현실(AR)·가상현실(VR) 콘텐츠, 제품 디자인 등에 쓰인다. 이런 분야에서는 대략적인 형태보다 세부를 얼마나 정확하게 재현하느냐가 결과물의 품질을 좌우한다. 학습 비용을 크게 늘리지 않고도 세밀한 표현을 얻는 방법이 나온다면, 제한된 연산 자원으로 더 정교한 3D 결과물을 만드는 데 도움이 될 수 있다.
애플은 연구 성과를 논문 공유 플랫폼보다 자사 머신러닝 연구 사이트에 먼저 올리는 경우가 많다. 그래서 이 사이트는 애플이 어떤 AI 연구에 힘을 쏟는지 엿볼 수 있는 창구로 꼽힌다. 이번 논문은 생성 AI 연구 가운데 3D 형상 표현과 생성 분야를 다룬다.
이 기사는 애플이 공개한 논문 초록을 바탕으로 정리했다. 동료평가를 거쳤는지는 논문마다 다르다.



