엔비디아 베라 루빈 NVL72, MLPerf 추론 첫 등판…GB300 대비 최대 3.7배 처리량

엔비디아는 16일(현지시간) 공개된 MLPerf 인퍼런스(Inference) v6.1 결과에서 차세대 시스템 '베라 루빈(Vera Rubin) NVL72'가 첫 프리뷰 제출로 선두 성능을 기록했다고 자사 블로그를 통해 밝혔다.

엔비디아에 따르면 베라 루빈 NVL72는 이번 벤치마크에서 가장 까다로운 항목으로 꼽히는 DeepSeek-R1과 Qwen3-VL 두 가지에 제출됐다. Qwen3-VL에서는 오프라인·서버·인터랙티브 시나리오 전반에 걸쳐 기존 GB300 NVL72 대비 최대 3.7배 높은 처리량을 냈고, DeepSeek-R1에서는 최대 2.5배 높은 처리량을 기록했다. 각각 vLLM과 엔비디아 다이나모(Dynamo) 오픈소스 추론 프레임워크, 텐서RT-LLM 라이브러리가 사용됐다.

기존 제품인 GB300 NVL72는 확장 효율성을 입증했다. 엔비디아는 DeepSeek-R1 추론을 단일 랙(GPU 72장)에서 4개 랙(288장)까지 늘린 결과, 오프라인 시나리오에서 99%의 확장 효율을 달성해 처리량이 투입 하드웨어에 거의 비례해 증가했다고 설명했다.

소프트웨어 최적화에 따른 성능 향상도 함께 제시됐다. GB300 NVL72의 Qwen3-VL 성능은 직전 v6.0 대비 최대 1.6배 개선됐으며, KV 캐시 정밀도 조정과 커널 퓨전, 분산 서빙 등이 적용됐다. 이번 MLPerf에는 ASUS, 델, HPE, 오라클 클라우드 인프라스트럭처, 슈퍼마이크로 등 19개 파트너사가 참여했다.