FRED, 사람 영상만 보고 로봇이 새 작업 익힌다…KAIST AI 연구진 공개
KAIST AI 소속 Huiwon Jang 등 연구자 6명이 로봇 제어용 인공지능 '월드 액션 모델(WAM)'의 성능을 끌어올리는 학습 기법 'FRED'를 내놨다. 사전공개 논문 저장소 arXiv에 올라온 논문 「Self-Distilling Future Video Representations for World Action Models」(arXiv:2610.30320)에 따르면, FRED를 적용한 모델은 로봇 훈련 데이터에 없고 사람 영상으로만 시연된 작업에서 성공률 50.0%를 기록했다. 비교 대상 WAM 가운데 가장 좋은 모델의 성공률은 19.4%였다.
월드 액션 모델은 미리 학습된 비디오 확산 모델을 활용한다. 이 모델이 영상에서 익힌 시간과 공간에 관한 풍부한 사전 지식을 빌려, 여러 작업을 두루 해내는 범용 로봇 정책을 학습하는 방식이다. 다만 영상을 실제로 만들어 내려면 노이즈를 걷어내는 디노이징 과정을 여러 번 반복해야 해 계산 비용이 크다. 그래서 최근 나온 WAM들은 디노이징을 한 번만 거친 뒤 그 중간 단계에서 '미래 영상 표현'을 뽑아내고, 이를 별도의 행동 디코더에 조건으로 넣어 로봇의 다음 동작을 예측한다. 추론은 빨라지지만, 행동 예측의 정확도가 이 미래 표현의 품질에 그대로 좌우된다는 약점이 생긴다. 연구진은 이 부분을 겨냥했다.
FRED는 'Future REpresentation learning via self-Distillation with temporal context'의 머리글자다. 이름대로 두 가지 장치가 핵심이다. 하나는 자기증류(self-distillation)다. 실제 미래 장면을 관측해 얻은 표현을 정답으로 삼고, 모델이 노이즈에서 출발해 단 한 번의 디노이징만으로 그 표현에 가까운 결과를 내도록 학습시킨다. 다른 하나는 시간적 맥락이다. 비디오 모델이 현재 장면만 보지 않고 과거 관측까지 함께 참고하도록 해 미래 표현을 더 잘 예측하게 했다. 행동 디코더가 받아 쓰는 미래 표현을 단일 단계에서도 충실하게 만들어 로봇 동작 예측까지 끌어올리겠다는 설계다.
연구진은 다양한 실제 환경의 물체 조작 시나리오에서 FRED를 다른 WAM들과 비교했고, FRED가 일관되게 앞섰다고 밝혔다. 특히 여러 단계를 이어서 해야 하는 장기 과제, 그리고 학습 때 보지 못한 환경에 추가 학습 없이 바로 투입하는 제로샷 환경 일반화 조건의 도메인 밖 과제에서 격차가 컸다고 설명했다.
가장 눈에 띄는 대목은 사람의 기술을 로봇으로 옮기는 '인간-로봇 기술 전이'다. 로봇으로 직접 시연한 데이터가 없고 사람이 하는 영상만 있는 작업에서, FRED는 50.0%의 성공률로 기존 최고 모델(19.4%)의 약 2.6배를 기록했다. 로봇이 해 본 적 없는 작업이라도 사람이 하는 장면을 담은 영상만 있으면 익힐 수 있는 폭이 그만큼 넓어졌다는 뜻이다. 연구진이 미래 표현의 품질을 높이는 데 집중한 결과가 이 수치로 나타난 셈이다.
이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 36회를 받았다. 동료평가를 거치지 않은 사전공개 논문이며, 이 기사는 저자들이 공개한 초록을 바탕으로 정리했다.
