엔비디아, 로컬 AI 요청 분산하는 오픈소스 라우터 ‘PAIR’ 공개

엔비디아가 가정이나 소규모 작업 환경에서 여러 기기의 로컬 AI 요청을 분산 처리하는 오픈소스 가상 추론 라우터 ‘퍼스널 AI 라우터(PAIR)’를 공개했다. PAIR는 RTX PC, DGX Spark, 맥 등 같은 네트워크에 연결된 장비를 찾아 각 요청을 적절한 노드로 보내는 방식으로, 하나의 기기에 요청이 몰려 대기열이 길어지는 문제를 줄이도록 설계됐다.

이번 도구는 새로운 추론 엔진이 아니라 기존 엔진을 묶어주는 라우터에 가깝다. 오라마(Ollama)나 LM 스튜디오(LM Studio)가 실제 모델 실행을 맡고, PAIR는 어떤 장비에서 요청을 처리할지 정한다. 엔비디아는 PAIR가 공개 베타(v0.1.1)로 배포되며, 윈도우·맥OS·리눅스용 서명 설치 파일과 함께 깃허브에 아파치 2.0 라이선스로 소스코드를 공개했다고 밝혔다. 인터넷 연결은 모델 다운로드 때만 필요하고, 실행 자체는 로컬 네트워크 안에서 이뤄진다.

PAIR의 핵심은 기존 에이전트 워크플로와의 호환성이다. 별도의 클러스터 API를 새로 요구하지 않고, 오라마와 LM 스튜디오가 쓰는 기본 포트를 가로채는 방식으로 동작한다. 필요하면 프록시 포트도 바꿀 수 있으며, 오픈AI 호환 프록시 엔드포인트도 제공한다. 이 때문에 기존 에이전트 하니스나 자동화 도구는 별도 수정 없이 사용할 수 있다는 설명이다.

장비 연결 방식도 단순화했다. PAIR는 mDNS로 주변 시스템을 자동 탐색하고, 탐색이 되지 않을 경우 IP 주소로 직접 추가할 수 있다. 신뢰 설정은 초대받는 쪽 장비에 표시되는 6자리 PIN을 입력하는 방식으로 진행되며, 페어링이 끝나기 전까지는 노드 간 통신이 차단된다. 이후 통신은 mTLS와 생성된 인증서를 통해 보호된다.

요청 분산 기준은 모델과 엔진 상태에 따라 정해진다. 필요한 엔진이 활성화돼 있고, 요청한 정확한 모델이 해당 노드에 있어야 작업 대상이 된다. 모델은 모든 장비에 동일하게 깔릴 필요는 없으며, PAIR는 모델이 있는 위치를 기준으로 요청을 보낸다. 엔비디아는 각 요청마다 온라인 상태, 엔진 지원 여부, 모델 존재 여부, 현재 작업 부하, GPU 사용률 등 다섯 가지 신호를 함께 고려한다고 설명했다.

엔비디아는 데모에서 허미스 데스크톱(Hermes Desktop)과 PAIR를 함께 사용해 다섯 개의 서브에이전트가 생성하는 가상 가정용 받은편지함 작업을 처리했다. 이때 단일 RTX Spark 노트북에서는 평균 18분이 걸렸지만, RTX Spark 노트북·DGX Spark·RTX 5090으로 구성한 3대 클러스터에서는 평균 8분 48초로 줄었다고 밝혔다.

지원 범위는 지포스 RTX 20 시리즈 이상, RTX PRO 워크스테이션 GPU, DGX Spark, 애플 M4 이상 칩을 포함한다. 윈도우, 리눅스, 맥OS 간 혼합 연결도 가능하며, 윈도우 온 ARM은 실험 단계다.