기사 검색

이슈부터 IT·AI·연예·게임까지, 메타브리프의 기사를 찾아보세요.

AI

Split-and-Scale Latent 3D Representations, 애플이 복잡한 3D 물체의 세부 묘사 한계를 다룬 논문 공개


애플이 3D 생성 모델의 기반 기술인 '잠재 3D 표현(latent 3D representation)'의 한계를 다룬 논문을 공개했다. 애플 머신러닝 연구(Apple Machine Learning Research) 사이트에 따르면 애플은 지난 16일 「Split-and-Scale Latent 3D Representations」 논문을 올렸다. 연구진이 문제로 삼은 것은 지금의 잠재 3D 표현이 복잡한 물체의 세밀한 부분을 제대로 담아내지 못한다는 점이다.


잠재 3D 표현은 3D 형상이나 장면을 적은 수의 압축된 값(잠재 벡터)으로 바꿔 저장하는 방식이다. 생성 모델은 이 압축된 공간에서 학습하고 결과물을 만든다. 논문 초록도 잠재 3D 표현이 현대 형상 모델링의 역량을 크게 넓혔다고 평가한다. 3D 장면을 작게 인코딩할 수 있게 됐고, 이를 바탕으로 성능 좋은 3D 생성 모델이 나올 수 있었다는 것이다.


연구진은 이런 발전에도 남아 있는 한계를 짚었다. 초록에 따르면 현재 방식은 복잡한 물체의 미세한 디테일을 포착하는 데 어려움을 겪는다. 이유로는 잠재 표현의 '용량'을 들었다. 정보를 압축해 담는 그릇이 정해져 있어서, 형상이 복잡해질수록 세부 정보가 그 안에 다 들어가지 못한다는 설명이다.


용량을 늘리면 될 것 같지만 연구진은 두 가지 걸림돌을 들었다. 첫째, 학습 단계에서 잠재 용량을 키우면 계산 비용이 크게 늘고, 메모리 한계 때문에 아예 할 수 없는 경우도 많다. 둘째, 학습이 끝난 뒤 추론 단계에서 잠재 벡터 수를 단순히 늘리는 방식으로는 늘어난 용량을 제대로 활용하지 못한다. 학습할 때 비용을 감당하기도 어렵고, 추론할 때 무작정 늘려서도 효과가 없다는 것이 이 논문의 출발점이다.


논문 제목의 'Split-and-Scale'은 '나누고 키운다'는 뜻이다. 연구진은 이 제목을 내걸고 앞서 밝힌 한계를 해결하는 방법을 제시했다. 학습과 추론 양쪽에서 막혀 있던 잠재 용량 문제를 어떻게 풀어내느냐가 이번 연구의 핵심이다.


이 문제는 3D 생성 기술을 실제로 쓰는 쪽에도 의미가 있다. 3D 생성 모델이 내놓는 결과물의 품질은 결국 잠재 표현이 얼마나 많은 정보를 담을 수 있느냐에 달려 있다. 장식이 많은 물체나 구조가 촘촘한 형상처럼 디테일이 중요한 대상일수록 용량의 한계가 결과물에 바로 드러난다. 메모리와 계산 비용을 감당할 수 있는 범위 안에서 표현력을 높이는 일은 3D 생성 연구의 오랜 과제이기도 하다.


애플은 연구 성과를 외부 논문 공유 플랫폼보다 자사 머신러닝 연구 사이트에 먼저 올리는 경우가 많다. 그래서 이 사이트는 애플이 AI 연구에서 어디에 힘을 싣고 있는지 보여주는 창구 역할을 한다. 이번 논문은 애플이 3D 형상 모델링과 생성 분야에서도 기반 기술 연구를 이어가고 있음을 보여준다. 논문 전문은 애플 머신러닝 연구 사이트(machinelearning.apple.com/research/split-scale-latent-3d)에서 볼 수 있다. 이 기사는 논문 초록을 바탕으로 정리했으며, 사이트에 공개된 논문 가운데에는 동료평가를 거친 것도 있고 거치지 않은 것도 있다.