覆盖架构： Pascal → Volta → Ampere → Hopper → Blackwell
备注： Rubin 架构尚未发布正式产品，仅作架构预览

目录

  1. Pascal 架构 (2016)
  2. Volta 架构 (2017)
  3. Ampere 架构 (2020)
  4. Hopper 架构 (2022)
  5. Blackwell 架构 (2024)
  6. Rubin 架构预览 (未发布)
  7. 技术说明补充
  8. 全部产品汇总表格
  9. 附录：关键术语解释

1. Pascal 架构 (2016)

1.1 架构特点

Pascal 是 NVIDIA 首款专为数据中心和 AI 计算设计的 GPU 架构，于 2016 年 4 月发布。

核心创新：

  • 首款采用 16nm FinFET 工艺的 GPU
  • 引入 HBM2 高带宽内存
  • 支持 NVLink 高速互联技术（替代 PCIe 瓶颈）
  • 原生支持 FP16 半精度计算（性能为 FP32 的 2 倍）
  • 引入统一内存架构，CPU 和 GPU 共享地址空间

架构代号： GP100
晶体管数量： 153 亿
核心面积： 600 mm²

1.2 性能参数

指标 规格
CUDA 核心 3584
Tensor Core 无（Pascal 不支持 Tensor Core）
FP32 算力 10.6 TFLOPS
FP16 算力 21.2 TFLOPS
FP64 算力 5.3 TFLOPS
显存带宽 732 GB/s (HBM2)
显存容量 16GB HBM2
NVLink 带宽 160 GB/s (双向)
TDP 300W

1.3 组网技术

NVLink 1.0：

  • 首次引入 GPU-GPU 高速互联
  • 单链路带宽 40 GB/s（双向 80 GB/s）
  • Tesla P100 支持 4 条 NVLink 链路，总带宽 160 GB/s
  • 支持多 GPU 拓扑（2-8 GPU 系统）

PCIe 支持：

  • PCIe 3.0 x16
  • 带宽 32 GB/s（双向）

1.4 常见数据中心显卡型号

Tesla P100
参数 规格
发布年份 2016 Q2
架构代号 GP100
核心名称 Pascal
CUDA 核心 3584
显存 16GB HBM2
显存带宽 732 GB/s
FP32 算力 10.6 TFLOPS
FP64 算力 5.3 TFLOPS
NVLink 支持（160 GB/s）
TDP 300W
工艺制程 16nm FinFET (TSMC)
插槽形式 PCIe / SXM2

亮点：

  • 首款支持 HBM2 的 NVIDIA GPU
  • NVLink 技术首次亮相，大幅提升多 GPU 通信效率
  • 深度学习性能较 Maxwell 架构提升 12 倍
  • 成为当时 AI 训练的事实标准
Tesla P40 / P4
参数 Tesla P40 Tesla P4
发布年份 2016 Q3 2016 Q3
架构代号 GP102 GP104
CUDA 核心 3840 2560
显存 24GB GDDR5 8GB GDDR5
显存带宽 346 GB/s 192 GB/s
FP32 算力 12 TFLOPS 5.5 TFLOPS
FP16 算力（原生） 6 TFLOPS (1:2) 0.17 TFLOPS (1:32)
INT8 算力 47 TOPS 22 TOPS
TDP 250W 75W
工艺制程 16nm FinFET 16nm FinFET
定位 训练/推理 推理优化

亮点：

  • P40 面向训练，大显存适合大模型
  • P4 面向推理，低功耗适合边缘部署
  • 原生支持 INT8 量化推理
  • FP16 说明： Pascal 架构支持原生 FP16 计算，但 P40/P4 的 FP16:FP32 比例不同。P100 为 2:1（FP16 是 FP32 的 2 倍），P40 为 1:2，P4 为 1:32（推理优化，FP16 性能较低）

2. Volta 架构 (2017)

2.1 架构特点

Volta 于 2017 年 5 月发布，是 NVIDIA 数据中心 GPU 的重大飞跃，首次引入 Tensor Core。

核心创新：

  • 革命性引入 Tensor Core（混合精度计算核心）
  • 专为深度学习和 AI 训练优化
  • 采用 12nm FinFET 工艺（实际为 16nm 增强版）
  • 独立 FP32 和 INT32 执行单元
  • 支持 512-bit HBM2 显存接口

架构代号： GV100
晶体管数量： 211 亿
核心面积： 815 mm²

2.2 性能参数

指标 规格
CUDA 核心 5120
Tensor Core 640 个（每个含 8 个 FP16 单元）
FP32 算力 14.8 TFLOPS
FP16 算力（Tensor） 118.5 TFLOPS
FP64 算力 7.4 TFLOPS
INT8 算力 237 TOPS
显存带宽 900 GB/s (HBM2)
显存容量 16GB/32GB HBM2
NVLink 带宽 300 GB/s (双向)
TDP 300W

2.3 组网技术

NVLink 2.0：

  • 单链路带宽提升至 50 GB/s（双向 100 GB/s）
  • Tesla V100 支持 6 条 NVLink 链路，总带宽 300 GB/s
  • 支持 GPU-Direct 技术，GPU 直接访问网络/存储
  • 支持 NVSwitch，实现 16-32 GPU 全互联

PCIe 支持：

  • PCIe 3.0 x16
  • 带宽 32 GB/s

2.4 常见数据中心显卡型号

Tesla V100
参数 规格
发布年份 2017 Q2
架构代号 GV100
核心名称 Volta
CUDA 核心 5120
Tensor Core 640
显存 16GB/32GB HBM2
显存带宽 900 GB/s
FP32 算力 14.8 TFLOPS
FP16 算力（Tensor） 118.5 TFLOPS
FP64 算力 7.4 TFLOPS
INT8 算力 237 TOPS
NVLink 支持（300 GB/s）
TDP 300W
工艺制程 12nm FinFET (TSMC)
插槽形式 PCIe / SXM2

亮点：

  • 首款引入 Tensor Core 的 GPU，AI 训练性能提升 12 倍
  • 单卡 FP16 算力突破 100 TFLOPS
  • 成为深度学习训练的标杆产品
  • 支持混合精度训练，大幅加速收敛
Tesla V100S
参数 规格
发布年份 2019 Q1
架构代号 GV100
CUDA 核心 5120
Tensor Core 640
显存 32GB HBM2
显存带宽 900 GB/s
FP16 算力（Tensor） 125 TFLOPS
TDP 300W
工艺制程 12nm FinFET

亮点：

  • V100 的小幅升级版，频率提升
  • 标配 32GB 大显存版本

3. Ampere 架构 (2020)

3.1 架构特点

Ampere 于 2020 年 5 月发布，是 NVIDIA 数据中心 GPU 的又一次重大升级。

核心创新：

  • 第二代 Tensor Core，支持 FP64、TF32、BF16 等多种精度
  • 引入结构化稀疏（Sparsity）技术，性能翻倍
  • 采用 7nm FinFET 工艺（A100）
  • 第三代 NVLink 和 NVSwitch
  • 支持多实例 GPU（MIG）技术，单卡可分割为 7 个实例
  • 引入 HBM2e 显存

架构代号： GA100
晶体管数量： 542 亿
核心面积： 826 mm²

3.2 性能参数

指标 规格
CUDA 核心 6912
Tensor Core 432 个（第三代）
FP32 算力 19.5 TFLOPS
TF32 算力（Tensor） 156/312 TFLOPS（稀疏）
BF16/FP16 算力（Tensor） 312/624 TFLOPS（稀疏）
FP64 算力 9.7 TFLOPS
INT8 算力 624 TOPS
显存带宽 1555-2039 GB/s (HBM2e)
显存容量 40GB/80GB HBM2e
NVLink 带宽 600 GB/s (双向)
TDP 300-400W

3.3 组网技术

NVLink 3.0：

  • 单链路带宽提升至 75 GB/s（双向 150 GB/s）
  • A100 SXM 版本支持 12 条 NVLink 链路，总带宽 600 GB/s
  • 支持 NVSwitch 第三代，单交换机支持 30 GPU 全互联
  • 支持 DGX A100 系统（8 GPU，5.6 TB/s 总带宽）

PCIe 支持：

  • PCIe 4.0 x16
  • 带宽 64 GB/s（双向）

3.4 常见数据中心显卡型号

Tesla A100
参数 A100 PCIe 40GB A100 PCIe 80GB A100 SXM 40GB A100 SXM 80GB
发布年份 2020 Q4 2021 Q2 2020 Q2 2021 Q2
架构代号 GA100 GA100 GA100 GA100
核心名称 Ampere Ampere Ampere Ampere
CUDA 核心 6912 6912 6912 6912
Tensor Core 432 432 432 432
显存 40GB HBM2e 80GB HBM2e 40GB HBM2e 80GB HBM2e
显存带宽 1555 GB/s 1935 GB/s 1555 GB/s 2039 GB/s
FP32 算力 19.5 TFLOPS 19.5 TFLOPS 19.5 TFLOPS 19.5 TFLOPS
TF32 算力（Tensor） 156/312 TFLOPS 156/312 TFLOPS 156/312 TFLOPS 156/312 TFLOPS
BF16 算力（Tensor） 312/624 TFLOPS 312/624 TFLOPS 312/624 TFLOPS 312/624 TFLOPS
FP64 算力 9.7 TFLOPS 9.7 TFLOPS 9.7 TFLOPS 9.7 TFLOPS
INT8 算力 624 TOPS 624 TOPS 624 TOPS 624 TOPS
NVLink 不支持 不支持 支持（600 GB/s） 支持（600 GB/s）
MIG 支持 支持 支持 支持
TDP 300W 300W 400W 400W
工艺制程 7nm (TSMC) 7nm (TSMC) 7nm (TSMC) 7nm (TSMC)

亮点：

  • MIG 技术革命性创新，单卡可分割为 7 个独立 GPU 实例
  • 第三代 Tensor Core 支持 TF32 和 BF16，AI 训练性能大幅提升
  • 结构化稀疏技术，实际性能翻倍
  • 80GB 版本支持更大模型训练
  • FP64 说明： A100 的 FP64 算力为 9.7 TFLOPS（双精度），通过 Compute Capability 8.0 支持完整双精度计算，较 Volta 架构的 7.4 TFLOPS 提升约 31%，适合 HPC 科学计算场景
NVIDIA A10
参数 规格
发布年份 2021 Q2
架构代号 GA102
CUDA 核心 9216
Tensor Core 288（第三代）
显存 24GB GDDR6
显存带宽 600 GB/s
FP32 算力 31.2 TFLOPS
FP16 算力（Tensor） 250 TOPS（稀疏）
INT8 算力 500 TOPS
TDP 150W
工艺制程 8nm (Samsung)
定位 推理/图形/视频

亮点：

  • 面向推理和虚拟化场景
  • 支持多路视频编解码
  • 低功耗设计

4. Hopper 架构 (2022)

4.1 架构特点

Hopper 于 2022 年 3 月发布，以计算机科学家 Grace Hopper 命名，专为大规模 AI 和 HPC 设计。

核心创新：

  • 第四代 Tensor Core，支持 FP8 精度
  • Transformer 引擎，加速大语言模型训练
  • 采用 4nm 定制工艺（TSMC 4NP）
  • 第四代 NVLink，带宽翻倍
  • 支持 NVLink Switch，实现任意 GPU 对通信
  • 引入 HBM3 显存
  • 支持机密计算

架构代号： GH100
晶体管数量： 800 亿
核心面积： 814 mm²

4.2 性能参数

指标 规格
CUDA 核心 16896
Tensor Core 528 个（第四代）
FP32 算力 67 TFLOPS
FP8 算力（Tensor） 3958/7916 TFLOPS（稀疏）
FP16/BF16 算力（Tensor） 1979/3958 TFLOPS（稀疏）
FP64 算力 34 TFLOPS
INT8 算力 7916 TOPS
显存带宽 2039-3350 GB/s (HBM3)
显存容量 80GB/96GB HBM3
NVLink 带宽 900 GB/s (双向)
TDP 700W

4.3 组网技术

NVLink 4.0：

  • 单链路带宽提升至 100 GB/s（双向 200 GB/s）
  • H100 SXM 支持 18 条 NVLink 链路
  • 带宽计算公式： 单链路 100 GB/s × 18 条链路 = 1800 GB/s（单向），双向总计 3600 GB/s；实际有效双向带宽为 900 GB/s（考虑协议开销）
  • 引入 NVLink Switch，支持任意 GPU 对通信（非全互联也高效）
  • 支持 DGX H100 系统（8 GPU）
  • DGX H100 系统带宽： 单卡显存带宽 3.35 TB/s × 8 GPU = 26.8 TB/s；通过 NVLink Switch 互联后，系统总带宽可达 57.6 TB/s（包含 GPU-GPU 通信带宽）

PCIe 支持：

  • PCIe 5.0 x16
  • 带宽 128 GB/s（双向）

4.4 常见数据中心显卡型号

NVIDIA H100
参数 H100 PCIe H100 SXM
发布年份 2022 Q4 2022 Q2
架构代号 GH100 GH100
核心名称 Hopper Hopper
CUDA 核心 14592 16896
Tensor Core 456 528
显存 80GB HBM3 80GB HBM3
显存带宽 2039 GB/s 3350 GB/s
FP32 算力 60 TFLOPS 67 TFLOPS
FP8 算力（Tensor） 3000/6000 TFLOPS 3958/7916 TFLOPS
FP16/BF16 算力（Tensor） 1500/3000 TFLOPS 1979/3958 TFLOPS
FP64 算力 30 TFLOPS 34 TFLOPS
NVLink 不支持 支持（900 GB/s）
TDP 350-400W 700W
工艺制程 4nm (TSMC 4NP) 4nm (TSMC 4NP)
插槽形式 PCIe 5.0 SXM5

亮点：

  • Transformer 引擎，LLM 训练性能提升 6 倍
  • 第四代 Tensor Core 支持 FP8，推理性能大幅提升
  • NVLink Switch 实现高效任意 GPU 通信
  • 支持机密计算，保护敏感数据
NVIDIA H200
参数 规格
发布年份 2023 Q4
架构代号 GH100
核心名称 Hopper
CUDA 核心 16896
Tensor Core 528
显存 141GB HBM3e
显存带宽 4800 GB/s
FP8 算力（Tensor） 3958/7916 TFLOPS
FP16/BF16 算力（Tensor） 1979/3958 TFLOPS
NVLink 支持（900 GB/s）
TDP 700W
工艺制程 4nm (TSMC 4NP)
插槽形式 SXM5

亮点：

  • H100 的升级版，主要提升显存
  • 141GB HBM3e 显存，带宽 4800 GB/s
  • 大模型推理性能提升 2 倍
  • 支持更大上下文窗口

5. Blackwell 架构 (2024)

5.1 架构特点

Blackwell 于 2024 年 3 月发布，以数学家 David Blackwell 命名，是 NVIDIA 最新的 AI 超级芯片架构。

核心创新：

  • 革命性多芯片封装（MCM），单卡含 2 个 GPU 裸片
  • 第五代 Tensor Core，支持 FP4 精度
  • 第二代 Transformer 引擎，支持混合精度
  • 采用 4NP 定制工艺（TSMC）
  • 第五代 NVLink，带宽再次翻倍
  • 引入 GDDR7 显存（B100）和 HBM3e（B200/GB200）
  • 支持液冷散热

架构代号： GB100 / GB200
晶体管数量： 2080 亿（GB200 双芯片）
核心面积： 单芯片约 1000 mm²

5.2 性能参数

指标 GB200 规格
GPU 芯片 2x Blackwell 裸片
CUDA 核心 20736（总计）
Tensor Core 720 个（第五代）
FP32 算力 125 TFLOPS
FP4 算力（Tensor） 45000 TFLOPS
FP8 算力（Tensor） 22500 TFLOPS
FP16/BF16 算力（Tensor） 11250 TFLOPS
显存带宽 8000 GB/s (HBM3e)
显存容量 192GB HBM3e
NVLink 带宽 1800 GB/s (双向)
TDP 1200W

5.3 组网技术

NVLink 5.0：

  • 单链路带宽提升至 150 GB/s（双向 300 GB/s）
  • GB200 支持 18 条 NVLink 链路，总带宽 1800 GB/s
  • 支持 NVLink Scale，实现 72 GPU 全互联
  • 支持 DGX GB200 系统（8 GPU，总带宽 130 TB/s）
  • 支持 GB200 NVL72 机架系统（72 GPU，54 PB/s 互联）

PCIe 支持：

  • PCIe 5.0 x16
  • 带宽 128 GB/s

5.4 常见数据中心显卡型号

NVIDIA B100
参数 规格
发布年份 2024 Q2（预计）
架构代号 GB100
核心名称 Blackwell
CUDA 核心 10368
Tensor Core 360（第五代）
显存 96GB GDDR7
显存带宽 4000 GB/s
FP4 算力（Tensor） 22500 TFLOPS
FP8 算力（Tensor） 11250 TFLOPS
NVLink 支持（900 GB/s）
TDP 600W
工艺制程 4NP (TSMC)
插槽形式 PCIe 5.0

亮点：

  • Blackwell 架构的 PCIe 版本
  • 采用 GDDR7 显存，成本优化
  • 适合中小规模 AI 部署
NVIDIA B200
参数 规格
发布年份 2024 Q2
架构代号 GB100（Blackwell 核心）
核心名称 Blackwell
CUDA 核心 10368
Tensor Core 360（第五代）
显存 192GB HBM3e
显存带宽 8000 GB/s
FP4 算力（Tensor） 22500 TFLOPS
FP8 算力（Tensor） 11250 TFLOPS
NVLink 支持（900 GB/s）
TDP 1000W
工艺制程 4NP (TSMC)
插槽形式 SXM5/SXM6

亮点：

  • Blackwell 架构的旗舰单卡
  • 192GB HBM3e 超大显存
  • 第五代 Tensor Core 支持 FP4 精度
  • 推理性能较 H100 提升 30 倍
  • 架构代号说明： B200 采用 GB100 Blackwell GPU 核心；GB200 是系统级产品（Grace CPU + 2×Blackwell GPU），需区分单卡（B200）与系统（GB200 Superchip）规格
NVIDIA GB200 Grace Blackwell Superchip
参数 规格
发布年份 2024 Q2
架构代号 GB200
核心名称 Blackwell + Grace
GPU 2x Blackwell 裸片
CPU 1x Grace ARM 处理器（72 核）
GPU CUDA 核心 20736（总计）
GPU Tensor Core 720（第五代）
显存 192GB HBM3e（统一内存）
显存带宽 8000 GB/s
CPU- GPU 互联 NVLink-C2C（1800 GB/s）
GPU-GPU 互联 NVLink 5.0（1800 GB/s）
FP4 算力（Tensor） 45000 TFLOPS
TDP 1200W
工艺制程 4NP (TSMC)
插槽形式 SXM6

亮点：

  • CPU+GPU 超级芯片，统一内存架构
  • 消除 CPU-GPU 数据拷贝瓶颈
  • 专为万亿参数大模型设计
  • 支持 GB200 NVL72 机架系统（72 GPU，54 PB/s）
  • NVLink-C2C 说明： CPU 与 GPU 间通过 NVLink-C2C 直接互联，带宽高达 900 GB/s（双向 1800 GB/s），是传统 PCIe 5.0 x16（128 GB/s 双向）的 14 倍，大幅降低 CPU-GPU 数据传输延迟

6. Rubin 架构预览 (未发布)

6.1 架构前瞻

Rubin 是 NVIDIA 下一代数据中心 GPU 架构，预计 2025-2026 年发布，以天文学家 Vera Rubin 命名。

预期创新（基于公开信息）：

  • 采用更先进的 3nm 或 2nm 工艺
  • 第六代 Tensor Core，可能支持 FP2 精度
  • HBM4 显存支持
  • 第六代 NVLink，带宽进一步提升
  • 更强的光追和图形能力
  • 可能引入 Chiplet 多芯片设计

预期规格（预测）：

指标 预期规格
工艺制程 3nm / 2nm（预测）
显存类型 HBM4（预测）
显存带宽 12000+ GB/s（预测）
Tensor Core 第六代（预测）
FP4/FP2 算力 待公布（FP2 未官方确认）
NVLink 第六代（预测）
发布时间 2025-2026（预计）

备注： Rubin 架构产品尚未正式发布，以上规格均为基于行业趋势的预测数据，FP4/FP2 精度支持、HBM4 显存等特性未经 NVIDIA 官方确认，实际规格以发布时官方数据为准。

7. 技术说明补充

7.1 Tensor Core 稀疏加速（Sparsity）

结构化稀疏技术说明：

NVIDIA 从 Ampere 架构开始引入结构化稀疏（Structured Sparsity）技术，通过硬件级支持实现性能翻倍。

架构 Tensor Core 代数 稀疏支持 加速效果
Ampere 第三代 ✅ 2:4 稀疏 2 倍
Hopper 第四代 ✅ 2:4 稀疏 2 倍
Blackwell 第五代 ✅ 2:4 稀疏 2 倍

工作原理：

  • 2:4 稀疏模式： 每 4 个权重中强制 2 个为零，硬件跳过零值计算
  • 性能标注： 文档中 "原生/稀疏" 格式（如 312/624 TFLOPS）分别表示密集计算和稀疏加速后的算力
  • 适用场景： 推理场景可通过剪枝实现稀疏，训练场景需配合稀疏感知训练

注意： 稀疏加速需软件栈支持（CUDA 11.0+、cuBLAS 11.4+），实际加速效果取决于模型稀疏度。

带宽计算公式：

单向带宽 = 单链路带宽 × 链路数量
双向带宽 = 单向带宽 × 2
有效带宽 = 双向带宽 × 协议效率（约 50-75%）

历代 NVLink 规格：

架构 NVLink 版本 单链路带宽 H100/B200 链路数 理论单向 理论双向 有效双向
Pascal 1.0 40 GB/s 4 160 GB/s 320 GB/s 160 GB/s
Volta 2.0 50 GB/s 6 300 GB/s 600 GB/s 300 GB/s
Ampere 3.0 75 GB/s 12 900 GB/s 1800 GB/s 600 GB/s
Hopper 4.0 100 GB/s 18 1800 GB/s 3600 GB/s 900 GB/s
Blackwell 5.0 150 GB/s 18 2700 GB/s 5400 GB/s 1800 GB/s

说明： 文档中 NVLink 带宽均为有效双向带宽（考虑协议开销后的实际可用带宽）。

Grace Blackwell 超级芯片专用互联技术：

特性 规格
带宽 900 GB/s（双向 1800 GB/s）
对比 PCIe 5.0 x16 14 倍带宽提升
延迟 亚微秒级
一致性 CPU-GPU 统一内存寻址

优势：

  • 消除传统 PCIe 的 CPU-GPU 数据拷贝瓶颈
  • 支持统一内存架构，192GB HBM3e 可被 CPU 和 GPU 直接访问
  • 适合大模型推理场景，减少数据搬运开销

8. 全部产品汇总表格

8.1 数据中心级显卡总览

产品名称 发布年份 架构代号 核心名称 FP32 算力 FP16/BF16 Tensor FP8 Tensor 显存规格 显存带宽 NVLink 带宽 TDP 工艺制程
Tesla P100 2016 GP100 Pascal 10.6 TFLOPS 21.2 TFLOPS（原生） N/A 16GB HBM2 732 GB/s 160 GB/s 300W 16nm
Tesla P40 2016 GP102 Pascal 12 TFLOPS 6 TFLOPS（原生 1:2） N/A 24GB GDDR5 346 GB/s N/A 250W 16nm
Tesla P4 2016 GP104 Pascal 5.5 TFLOPS 0.17 TFLOPS（原生 1:32） N/A 8GB GDDR5 192 GB/s N/A 75W 16nm
Tesla V100 2017 GV100 Volta 14.8 TFLOPS 118.5 TFLOPS N/A 16/32GB HBM2 900 GB/s 300 GB/s 300W 12nm
Tesla V100S 2019 GV100 Volta 15.5 TFLOPS 125 TFLOPS N/A 32GB HBM2 900 GB/s 300 GB/s 300W 12nm
A100 PCIe 40GB 2020 GA100 Ampere 19.5 TFLOPS 312/624 TFLOPS N/A 40GB HBM2e 1555 GB/s N/A 300W 7nm
A100 PCIe 80GB 2021 GA100 Ampere 19.5 TFLOPS 312/624 TFLOPS N/A 80GB HBM2e 1935 GB/s N/A 300W 7nm
A100 SXM 40GB 2020 GA100 Ampere 19.5 TFLOPS 312/624 TFLOPS N/A 40GB HBM2e 1555 GB/s 600 GB/s 400W 7nm
A100 SXM 80GB 2021 GA100 Ampere 19.5 TFLOPS 312/624 TFLOPS N/A 80GB HBM2e 2039 GB/s 600 GB/s 400W 7nm
A10 2021 GA102 Ampere 31.2 TFLOPS 250 TFLOPS N/A 24GB GDDR6 600 GB/s N/A 150W 8nm
H100 PCIe 2022 GH100 Hopper 60 TFLOPS 1500/3000 TFLOPS 3000/6000 TFLOPS 80GB HBM3 2039 GB/s N/A 400W 4nm
H100 SXM 2022 GH100 Hopper 67 TFLOPS 1979/3958 TFLOPS 3958/7916 TFLOPS 80GB HBM3 3350 GB/s 900 GB/s 700W 4nm
H200 2023 GH100 Hopper 67 TFLOPS 1979/3958 TFLOPS 3958/7916 TFLOPS 141GB HBM3e 4800 GB/s 900 GB/s 700W 4nm
B100 2024 GB100 Blackwell 125 TFLOPS 11250 TFLOPS 22500 TFLOPS 96GB GDDR7 4000 GB/s 900 GB/s 600W 4NP
B200 2024 GB100 Blackwell 125 TFLOPS 11250 TFLOPS 22500 TFLOPS 192GB HBM3e 8000 GB/s 900 GB/s 1000W 4NP
GB200 2024 GB200 Blackwell 125 TFLOPS 11250 TFLOPS 22500 TFLOPS 192GB HBM3e 8000 GB/s 1800 GB/s 1200W 4NP

备注：

  • FP16/BF16 Tensor 格式为：原生/稀疏加速（如 312/624 表示原生 312 TFLOPS，稀疏加速后 624 TFLOPS）
  • FP8 Tensor 格式为：原生/稀疏加速
  • Pascal FP16 格式：原生 FP16 算力（无 Tensor Core），括号内为 FP16:FP32 比例
  • N/A 表示该架构不支持此精度
  • 稀疏加速说明： 从 Ampere 架构开始支持结构化稀疏（2:4 稀疏模式），需硬件和软件栈支持（CUDA 11.0+），实际加速效果取决于模型稀疏度

8.2 架构演进对比

特性 Pascal Volta Ampere Hopper Blackwell
发布年份 2016 2017 2020 2022 2024
工艺制程 16nm 12nm 7nm 4nm 4NP
Tensor Core ❌ ✅ 第一代 ✅ 第三代 ✅ 第四代 ✅ 第五代
FP8 支持 ❌ ❌ ❌ ✅ ✅
FP4 支持 ❌ ❌ ❌ ❌ ✅
MIG 技术 ❌ ❌ ✅ ✅ ✅
Transformer 引擎 ❌ ❌ ❌ ✅ ✅ 第二代
NVLink 版本 1.0 2.0 3.0 4.0 5.0
最大 NVLink 带宽 160 GB/s 300 GB/s 600 GB/s 900 GB/s 1800 GB/s
显存类型 HBM2 HBM2 HBM2e HBM3/HBM3e HBM3e/GDDR7
最大显存容量 24GB 32GB 80GB 141GB 192GB
最大显存带宽 732 GB/s 900 GB/s 2039 GB/s 4800 GB/s 8000 GB/s
最大 TDP 300W 300W 400W 700W 1200W

9. 附录：关键术语解释

  • Tensor Core： NVIDIA 专为矩阵运算设计的专用核心，大幅加速 AI 训练和推理
  • NVLink： NVIDIA 开发的高速 GPU 互联技术，替代 PCIe 瓶颈
  • HBM/HBM2/HBM2e/HBM3/HBM3e： 高带宽内存，堆叠式封装，带宽远超 GDDR
  • MIG (Multi-Instance GPU)： 多实例 GPU 技术，单卡可分割为多个独立 GPU 实例
  • SXM： NVIDIA 专有 GPU 插槽标准，支持更高功率和 NVLink
  • TFLOPS： 每秒万亿次浮点运算，衡量算力指标
  • TOPS： 每秒万亿次整数运算，衡量 AI 推理指标
  • TDP： 热设计功耗，单位为瓦特 (W)

# 人工智能
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

【LAAP白皮书】面向web4.0的AGI数字生命体通用认知架构的 LAAP 活计算自适应感知协议技术与市场发展白皮书

avatar DAMO开发者矩阵
cover

别让 AI 现编了：箱熵把机器人的知识编译成了一张“图纸“

avatar DAMO开发者矩阵
cover

PDPS双抓手上料仿真

avatar DAMO开发者矩阵