"블랙웰 30배 압도"… 엔비디아, '베라 루빈' 실측 성능 최초 공개

젠슨 황 엔비디아 최고경영자(CEO)가 지난 6월 8일 서울 중구 신라호텔에서 열린 '엔비디아 코리아 AI 에코시스템 리셉션'에 참석해 연설을 하고 있다. (사진=방인권 기자)

[이데일리 한광범 기자] 엔비디아(NVIDIA)의 차세대 AI 컴퓨팅 아키텍처 ‘베라 루빈(Vera Rubin)’이 전작인 블랙웰 대비 전력당 처리량(메가와트당 토큰 생산)을 최대 30배 끌어올리고 토큰당 비용을 최대 35분의 1(35배 절감) 수준으로 대폭 낮춘 것으로 나타났다. 엔비디아는 베라 루빈의 추론 성능을 극대화하는 인터랙티브 AI 추론 가속기 ‘그록 3 LPX(Groq 3 LPX)’ 양산에 돌입하며 차세대 AI 인프라 시장 주도권 강화에 나섰다.

엔비디아는 24일(현지시간) 북미 최대 반도체 학술행사 ‘핫칩스(Hot Chips) 2026’에서 베라 루빈 기반의 차세대 AI 팩토리 생태계 구축과 그록 3 LPX 양산을 포함한 신기술 라인업을 발표했다. 베라 루빈은 72개의 루빈 GPU, 36개의 베라 CPU, 커넥트X-9 슈퍼NIC, 블루필드-4 DPU를 6세대 NV링크 인터커넥트 기술로 묶어 단일 AI 시스템으로 작동하게 만든 플랫폼이다.

이번 실측 데이터는 단일 요청이 아닌 실제 코딩 세션을 기록한 ‘세미애널리시스 에이전트X(SemiAnalysis AgentX)’ 워크로드를 활용해 컨텍스트 증가, 툴 호출, 하위 에이전트 생성 등 복잡한 AI 워크플로우를 그대로 반영했다. 베라 루빈은 딥시크 V4 프로(DeepSeek V4 Pro) 등 주요 모델에서 전작인 블랙웰 대비 메가와트(MW)당 처리량을 최대 30배 높였다. 전력 제약이 있는 AI 팩토리에서 동일 전력으로 30배 더 많은 작업을 처리할 수 있게 된 셈이다.

엔비디아 베라 루빈 NVL72, 토큰 비용 최대 35배 절감. (엔비디아 제공)

운영비 측면에서도 100만 토큰당 비용을 블랙웰 대비 최대 35배 낮춰, 단순 채팅 대비 15배 이상 토큰을 소비하는 에이전틱 AI의 대규모 지속 운영 기반을 마련했다. 전력 관리 기술인 ‘DSX MaxLPS’를 적용해 동일 전력 예산 내 배치 GPU 수를 최대 40% 늘렸으며, 루빈 GPU의 5세대 텐서 코어, 3세대 트랜스포머 엔진, NVFP4 4비트 양자화 기술을 결합했다.

‘그록 3 LPX’ 본격 양산… 스페이스XAI 협력으로 우주 영토 확장

여기에 하드웨어와 소프트웨어 전반의 극한 공동 설계를 적용해 최적의 효율을 구현했다. 컨텍스트 처리(프리필)와 응답 생성(디코드)을 분리해 독립적으로 확장하는 ‘분리형 서빙’과 두 과정 간 토큰 생성 속도를 맞추는 ‘레이트 매칭’ 기술이 대표적이다.

또한 전문가 혼합(MoE) 모델의 서브네트워크를 GPU 전반에 분산하는 ‘대규모 전문가 병렬화’를 구현했으며, 메모리를 확장해 처리된 컨텍스트를 재연산 없이 활용하는 ‘분산 KV 캐싱(Distributed KV-caching)’ 및 ‘KV 캐시 오프로딩’을 적용했다. 아울러 캐시 컨텍스트를 보유한 GPU로 요청을 전달해 중복 연산을 줄이는 ‘KV 인식 라우팅(KV-aware routing)’과 연산 및 통신을 하나의 단계로 결합해 데이터 대기 시간을 단축하는 ‘메가MoE(MegaMoE)’ 융합 쿠다 커널 기술도 대거 탑재했다.

베라 루빈 플랫폼의 인터랙티브 AI 추론 가속기 ‘그록 3 LPX’도 본격 양산 단계에 들어갔다. 수백에서 수천 단계에 이르는 복잡한 연산을 반복하며 방대한 양의 토큰을 생성하는 에이전틱 시스템의 초고속 토큰 생성을 지원한다. 랙 스케일 구성에서 직접적인 칩 간 연결을 통해 최대 256개의 LP30 가속기를 결합해 거대한 단일 프로세서처럼 작동하도록 설계됐다.

(엔비디아 제공)

오픈소스 모델 ‘젬마 4 31B’ 대상 10만 토큰 컨텍스트 벤치마크(Artificial Analysis)에서 초당 3,400개의 출력 토큰을 달성해 해당 모델 기준 역대 최고 속도를 기록했다. 이는 유사 플랫폼 대비 4배 빠른 응답 속도로, 파일 검토나 코드 작성 및 테스트, 도구 호출 등의 작업을 수 분 만에 완수하게 해준다. 네비우스(Nebius)가 생산용 추론 플랫폼 ‘네비우스 토큰 팩토리’에 이를 최초 도입하며, AI 추론 특화 클라우드 기업 그록(Groq) 역시 우선 도입을 확정했다.

스페이스XAI와의 대규모 협력도 성사됐다. 스페이스XAI는 차세대 에이전틱 AI 워크로드 처리를 위해 엔비디아가 전용 설계한 최초의 CPU인 ‘베라 CPU’를 도입한다. 베라 CPU는 88개의 올림푸스(Olympus) 코어와 스페이셜 멀티스레딩 기술, 고대역폭 LPDDR5X 메모리를 탑재해 최대 1.2TB/s 대역폭을 제공한다. 에이전틱 AI 및 강화학습 워크로드에서 기존 x86 CPU 대비 작업 완료 속도가 최대 1.8배 빠르며, 모델 호출 사이의 툴 오케스트레이션과 코드 실행을 가속해 GPU 활용도를 극대화한다.

NV링크 퓨전·차세대 네트워크 공개… 커스텀 AI 팩토리 구현

스페이스XAI는 베라 루빈을 기반으로 자사 AI 모델 ‘그록(Grok)’을 지원하는 지상 인프라를 기가와트(GW)급 컴퓨팅 규모로 대대적으로 확장한다. 아울러 최적화된 베라 루빈 랙 스케일 시스템을 1세대 ‘스타마인드(Starmind)’ AI 위성에 적용해, 지상 AI 팩토리 아키텍처를 전력 및 열 관리 제약이 극심한 우주 궤도 컴퓨팅 영역까지 확장한다는 구상이다.

타사의 커스텀 실리콘(XPU·CPU)을 엔비디아의 AI 인프라 플랫폼에 결합할 수 있는 ‘엔비디아 NV링크 퓨전(NVLink Fusion)’도 첫 선을 보였다. 6세대 NV링크와 C2C 기술을 활용해 고객사가 자체 개발한 칩을 엔비디아의 랙 스케일 아키텍처, 전력, 냉각, 소프트웨어 생태제와 손쉽게 연결함으로써 하이퍼스케일러 맞춤형 AI 팩토리 구축을 지원한다.

초대규모 AI 팩토리를 받치는 차세대 네트워크 인프라 기술 2종도 함께 베일을 벗었다. ‘스펙트럼-X 멀티플레인’은 각 서버의 네트워크 연결을 여러 개의 독립적인 2계층 플레인으로 분할해, 기존 확장 시 발생하던 세 번째 네트워크 계층의 추가 비용, 지연 시간, 지터 문제 없이 최대 51만 2000개 GPU까지 단순한 평면 네트워크 확장을 지원한다. 커넥트X 슈퍼NIC 전용 하드웨어 엔진이 트래픽 경로를 재설정해 8개 플레인 중 1개에 장애가 발생해도 전체 대역폭의 약 90%를 유지하며, 기존 소프트웨어 방식 대비 11배 빠른 복구 속도로 AI 팩토리 생산량을 1.6배 끌어올린다. AI 클라우드 기업 코어위브(CoreWeave)가 이를 실제 운영 환경에 도입했다.

‘엔비디아 스케일인(Scale-In)’은 블루필드-4 프로세서와 DOCA 소프트웨어 플랫폼, 스펙트럼-X 이더넷을 결합해 기존 노스-사우스 액세스 네트워크를 가속 인프라 도메인으로 전환한다. 멀티테넌트 네트워킹, 고성능 스토리지 액세스, 실리콘 내장 보안, 탄력적 프로비저닝, 실시간 옵저버빌리티 등의 인프라 서비스를 호스트 컴퓨팅 리소스와 독립적으로 가속함으로써, 대규모 에이전틱 AI 구축과 운영에 필요한 안전하고 효율적인 공유 인프라 환경을 구축한다.