Nvidia Tesla H100 NVL 94G 빅데이터 인공지능 딥러닝GPU SXM5 PCIe

MPN
900-21010-0000-000, 900-21010-0000-001


거대 언어 모델 추론을 위한 압도적인 메모리 성능과 대역폭

NVIDIA H100 NVL은 LLM Inference와 복잡한 데이터 분석을 위해 설계된 전문가용 그래픽 카드입니다. Hopper 아키텍처를 기반으로 하며 PCIe 인터페이스를 지원하여 기존 서버 인프라에 손쉽게 통합 가능합니다. 94GB의 고용량 HBM3 메모리를 통해 대규모 파라미터를 가진 AI 모델을 효율적으로 처리하며 이전 세대 대비 비약적인 연산 속도 향상을 실현했습니다.

주요기술 및 스펙요약
NVIDIA Hopper Architecture 기반의 4세대 Tensor Cores 탑재
초당 3.9 TB/s 이상의 압도적인 메모리 대역폭 제공
Transformer Engine 기술로 대규모 언어 모델 처리 성능 극대화
PCIe Gen 5 인터페이스 지원으로 서버 내 데이터 전송 병목 최저화


Description:
Graphics Processor: GH100
Cores : 16896
TMUs: 528
ROPs: 192
Memory Size: 94 GB
Memory Type: HBM3
Bus Width: 5120 bit

Graphics Processor
GPU Name : GH100
GPU Variant : GH100-880-A1
Architecture : Hopper
Foundry : TSMC
Process Size : 4 nm
Transistors : 80,000 million
Density : 98.3M / mm²
Die Size : 814 mm²
Chip Package : BGA-4701

Graphics Card
Release Date : Mar 21st, 2023
Generation : Hopper
Predecessor : A100 PCIe 80 GB
Production : Active
Bus Interface : PCIe 5.0 x16

Clock Speeds
Base Clock : 1065 MHz
Boost Clock : 1755 MHz
Memory Clock : 1313 MHz

Memory
Memory Size : 94 GB
Memory Type : HBM3
Memory Bus : 5120 bit
Bandwidth : 3,361 GB/s

Render Config
Shading Units : 16896
TMUs : 528
ROPs : 192
SM Count : 132
Tensor Cores : 528
L2 Cache : 50 MB

Theoretical Performance
Pixel Rate : 337.0 GPixel/s
Texture Rate : 926.6 GTexel/s
FP16 (half) : 118.6 TFLOPS
FP32 (float) : 59.30 TFLOPS
FP64 (double) : 29.65 TFLOPS

Board Design
Slot Width : Dual-slot
Length : 267 mm
Height : 111 mm
TDP : 350 W - 400 W
Suggested PSU : 750 W
Outputs : No outputs
Power Connectors : 1x 16-pin

SXM PCIe / OEM Version