Nvidia Tesla H100 NVL 96G 빅데이터 인공지능 딥러닝GPU SXM5 PCIe

MPN
900-21010-0000-000


초대형 언어 모델 및 생성형 AI 워크로드를 위한 압도적 성능의 가속기

NVIDIA H100 NVL은 데이터 센터 수준의 AI 연산과 대규모 데이터 분석을 위해 설계된 최첨단 그래픽 프로세서입니다. Hopper 아키텍처를 기반으로 하여 이전 세대 대비 획기적인 속도 향상을 실현했으며 대규모 언어 모델인 LLM 트레이닝과 추론에서 탁월한 효율성을 제공합니다. 고대역폭 메모리인 HBM3를 탑재하여 초당 테라바이트급의 데이터 전송이 가능하며 복잡한 딥러닝 알고리즘을 지연 없이 처리합니다.


주요기술 및 스펙요약
Hopper Architecture 기반의 초고성능 연산 유닛 탑재
94GB HBM3 메모리를 통한 대용량 데이터 셋 처리 최적화
네번째 세대 Tensor Cores 기반의 향상된 AI 가속 능력
Transformer Engine 탑재로 LLM 성능 극대화
PCIe Gen5 인터페이스 지원으로 빠른 데이터 통신 보장


Description:
Graphics Processor: GH100
Cores : 16896
TMUs: 528
ROPs: 192
Memory Size: 94 GB
Memory Type: HBM3
Bus Width: 5120 bit

Graphics Processor
GPU Name : GH100
GPU Variant : GH100-880-A1
Architecture : Hopper
Foundry : TSMC
Process Size : 4 nm
Transistors : 80,000 million
Die Size : 814 mm2
Chip Package : BGA-6231

Graphics Card
Release Date : Mar 21st, 2023
Generation : Hopper
Predecessor : A100 PCIe 80 GB
Production : Active
Bus Interface : PCIe 5.0 x16

Clock Speeds
Base Clock : 1065 MHz
Boost Clock : 1755 MHz
Memory Clock : 1313 MHz

Memory
Memory Size : 94 GB
Memory Type : HBM3
Memory Bus : 5120 bit
Bandwidth : 3,361 GB/s

Render Config
Shading Units : 16896
TMUs : 528
ROPs : 192
SM Count : 132
Tensor Cores : 528
L2 Cache : 50 MB

Theoretical Performance
Pixel Rate : 337.0 GPixel/s
Texture Rate : 926.6 GTexel/s
FP16 (half) : 118.6 TFLOPS
FP32 (float) : 59.30 TFLOPS
FP64 (double) : 29.65 TFLOPS

Board Design
Slot Width : Dual-slot
Length : 267 mm
Height : 111 mm
TDP : 350 W
Suggested PSU : 750 W
Outputs : None
Power Connectors : 1x 16-pin
Board Number : PG510