엔비디아 '피지컬 AI' 두 갈래로 확장…공장엔 영상 한 편으로 배우는 로봇, 도로엔 로보택시 풀스택

엔비디아 블로그가 최근 잇달아 공개한 두 건의 게시물을 종합하면, 엔비디아의 '피지컬 AI(물리 AI)' 전략이 공장과 도로라는 두 갈래에서 동시에 상용 단계로 넘어가고 있다. 하나는 로봇 스타트업 스킬드AI(Skild AI)가 엔비디아 인프라 위에서 개발한 로봇 파운데이션 모델 'S1' 소식이고, 다른 하나는 전 세계 주요 로보택시 사업자들이 엔비디아의 3대 컴퓨터 구조를 채택해 무인 차량 함대를 확장하고 있다는 내용이다.

엔비디아 블로그가 전한 첫 번째 소식의 핵심은 '시연 영상 한 편'이다. 지난주 공개된 스킬드AI의 S1은 사전 학습 데이터에 없던 작업이라도 작업자가 촬영한 시연 영상 하나를 프롬프트로 받으면, 모델 가중치를 갱신하거나 작업별 후속 학습을 거치지 않고 곧바로 수행한다. 이른바 '인컨텍스트 러닝' 방식이다. 화분 심기, 팬케이크 굽기, 핸드드립 커피 내리기, 부품 키트 조립처럼 수십 단계에 걸쳐 최대 10분이 걸리는 작업도 대상이다. 화분 심기 실험에서는 시연 촬영부터 실제 하드웨어의 자율 수행까지 11분이 걸렸다고 블로그는 전했다. 새로운 다단계 작업에서 S1의 단계별 성공률은 약 66%로, 유사 AI 시스템의 9%보다 7배 이상 높았다. 스킬드AI는 짧은 영상 한 편이 사람이 직접 수집하려면 50~100시간이 드는 약 380건의 실습 데이터와 맞먹는 효과를 낸다고 추정했다.

디팍 파탁 스킬드AI 공동창업자 겸 최고경영자는 "사전 프로그래밍이 아니라 경험으로 배우는 것이 로보틱스에서 일어난 단절적 변화"라며 엔비디아 아이작 랩과 코스모스 기술이 다양한 시나리오·로봇 형태를 아우르는 경험을 만드는 데 쓰였다고 밝혔다. 스킬드AI는 첫 상업 배치 10개월 만에 연매출 실행률(런레이트) 1억 달러에 도달했고, 제조·물류·검사·보안·식품 조리 등에서 60곳 이상과 배치 파트너십을 맺었다. 실제 현장에서는 스킬드AI와 엔비디아, 폭스콘이 양팔 로봇에 '스킬드 브레인'을 올려 엔비디아 블랙웰 시스템을 조립하고 있다. 부스바와 리밋 블록을 설치하고 나사 16개를 조이며 돌발 상황에 대응하는 공정이 시연됐다.

두 번째 게시물에서 엔비디아는 로보택시를 "피지컬 AI의 첫 상업적 돌파구"로 규정하며, 2035년 시장 규모가 4000억 달러, 운행 차량이 600만 대를 넘어설 것으로 전망했다. 엔비디아가 제시한 구조는 학습용 DGX, 시뮬레이션·검증용 옴니버스와 코스모스(RTX PRO 서버 구동), 차량 탑재용 드라이브 하이페리온이다. 하이페리온 10은 블랙웰 기반 드라이브 AGX 토르 SoC 2개에 고화질 카메라 14대, 레이더 9개, 라이다 3개, 초음파 센서 12개를 결합했다. 개방형 추론 VLA 모델군 '알파마요'는 메타 액션과 사고연쇄 데이터를 더해 궤적 예측 오차를 2.08에서 1.18로 43% 줄였다고 블로그는 설명했다.

채택 사례도 대륙을 가리지 않았다. 우버는 2028년까지 28개 도시로 하이페리온 기반 함대를 넓히고 코스모스 기반 '로보택시 AI 데이터 팩토리'를 구축한다. 웨이모, 조옥스, 포니.ai, 모멘타, 웨이브, 와비, 뉴로 등이 엔비디아 플랫폼을 쓰고, 테슬라는 자율주행 신경망을 엔비디아 슈퍼컴퓨터에서 학습시킨다. 메르세데스-벤츠는 신형 S클래스 기반 로보택시를, 스텔란티스·루시드·지리·지커도 관련 프로그램을 진행 중이다. 현대차와 기아는 하이페리온 기반 데이터 주도형 자율주행 개발로 협력을 확대하고, 엔비디아는 합작사 모셔널과의 레벨4 협력 확대도 검토한다.

두 글을 나란히 놓고 보면 강조점의 차이가 드러난다. 스킬드AI 편은 '데이터를 얼마나 덜 쓰고 배우게 할 것인가'라는 학습 효율에 초점을 맞춘다. 66% 대 9%, 영상 한 편 대 380건 같은 수치가 모두 재학습 비용을 겨냥한다. 반면 로보택시 편은 성능 수치보다 누가 이 스택을 쓰고 있는지를 길게 나열하는 생태계 장악의 서사다. 그러나 두 글이 공유하는 층위는 같다. 코스모스로 데이터를 불리고, 옴니버스·아이작 계열로 시뮬레이션을 돌리며, 블랙웰 기반 연산으로 추론한다는 구조다. 공장 로봇과 로보택시가 서로 다른 산업처럼 보여도 엔비디아에게는 동일한 파이프라인의 두 출구인 셈이다. 다만 스킬드AI의 성공률 수치가 어떤 조건에서 측정됐는지, 비교 대상이 된 '유사 AI 시스템'이 무엇인지는 공개되지 않았다.

자세한 내용은 엔비디아 블로그의 스킬드AI S1 관련 게시물과 로보택시 플랫폼 관련 게시물에서 확인할 수 있다.