워싱턴대, 날아오는 상자 눈으로 보고 받는 휴머노이드 제어 기술 '리플렉스' 공개
미국 워싱턴대(University of Washington) 연구진이 휴머노이드 로봇이 사람이 던진 상자를 자기 카메라로만 보고 온몸으로 받아내도록 하는 제어 기법 '리플렉스(Reflex)'를 내놨다. 타오양 자(Taoyang Jia) 등 9명은 논문 사전공개 사이트 arXiv에 「Reflex: Visually Grounded Reactive Humanoid Control」(arXiv:2610.12772)을 올렸다. 저자들이 공개한 초록에 따르면 이 로봇은 실제 실험에서 2.5m 거리에서 던진 상자의 65%를 받아냈다. 같은 거리에서 사람이 받은 성공률의 76% 수준이다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 19회를 받았다. 동료평가는 아직 거치지 않았다.
연구진은 사람이 테니스공을 받아치거나 떨어지는 컵을 잡고, 지나가는 카트를 비켜서는 일을 예로 들었다. 사람은 이런 동작을 별 노력 없이 해내지만 휴머노이드에게는 여전히 어렵다는 것이다. 움직이는 대상이 어디로 갈지 예측하고 1초 남짓한 시간 안에 온몸으로 반응해야 하기 때문이다. 초록은 여기에 필요한 능력을 세 가지로 정리했다. 전신 동작을 조율하는 능력, 물체의 움직임에 실시간으로 반응하는 능력, 로봇 자신의 시점(1인칭) 영상만으로 상황을 파악하는 능력이다. 연구진은 던진 상자 받기를 이 세 능력이 모두 필요한 대표 과제로 골랐다. 기존 시스템은 이 중 일부만 해결했다고 연구진은 설명했다. 손끝 같은 말단 장치에만 의존하거나, 외부 모션캡처 장비를 쓰거나, 표식을 붙인 물체를 써야 했다는 것이다.
리플렉스는 이 능력을 3단계로 나눠 차례로 학습시킨다. 첫 단계에서는 물체의 정확한 상태 정보를 받는 정책이 강화학습으로 전신을 써서 받는 동작을 익힌다. 둘째 단계에서는 지연되고 불완전한 관측만으로 날아오는 상자의 움직임을 추론하는 법을 배운다. 마지막 단계에서는 전신 제어기를 고정해 둔 채, 1인칭 RGB-D(컬러와 깊이) 카메라 영상에서 상자의 움직임 정보를 바로 뽑아내는 인코더를 학습시킨다. 세 단계는 물체의 움직임을 압축해 담은 표현으로 서로 연결된다. 연구진은 이렇게 나누면 단계마다 학습 신호를 직접 줄 수 있어 시각 학습의 확장성이 크게 좋아진다고 설명했다.
시뮬레이션에서 리플렉스는 1인칭 RGB-D 영상만으로 85.7%의 포착 성공률을 냈다. 상자의 정확한 상태 정보를 직접 줬을 때(87.9%)와 2.2%포인트 차이다. 카메라만 쓰고도 '정답'을 알려준 경우에 가까운 성능을 냈다는 뜻이다. 연구진은 지난 몇 프레임의 영상 흐름, 즉 시간에 따른 시각 정보를 핵심 요소로 꼽았다. 이 정보를 빼면 정면으로 던진 경우 성공률이 35.6%포인트, 옆으로 비껴 던진 경우 39.8%포인트 떨어졌다. 한 장면만 보고는 상자의 속도와 궤적을 가늠하기 어렵다는 점이 수치로 드러났다.
실제 로봇 실험에는 유니트리(Unitree)의 휴머노이드 G1이 쓰였다. 사람이 던진 상자를 받는 성공률은 2.5m 거리에서 65%, 5m 거리에서 40%였다. 같은 조건에서 사람이 받은 성공률과 견주면 각각 76%, 59% 수준이다. 거리가 멀어질수록 사람과의 격차가 커지고, 시뮬레이션 성능과 실제 성능 사이에도 차이가 남아 있다는 점이 확인된다.
연구진은 트럭에서 짐을 내리며 상자를 던져 넘기는 상황을 응용 사례로 들었다. 다만 물류 현장 같은 실제 환경에서 시험했는지, 상자 말고 다른 물체에도 적용할 수 있는지는 초록에서 확인되지 않았다. 이 기사는 저자들이 공개한 초록을 바탕으로 작성했다.