目录

一、2U 8卡深度学习推理服务器对比 

二、4U 4卡(双宽)PCIe深度学习训练/推理服务器 

三、4U 8卡(双宽)PCIe深度学习训练服务器 

四、8卡 NVLink深度学习训练服务器 

五、GPU类型介绍

六、GPU厂商产品介绍

七、GPU发展趋势

八、NVIDIA GPU架构和产品 

8.1 NVIDIA Ampere系列产品 

8.2、NVIDIA Ampere系列产品 

九、Cambricon 主力产品 

​编辑十、 国产GPU卡汇总

十一、寒武纪Data Center Product Roadmap 

​编辑 11.1、MLU270 性能优势

11.2、MLU290-M5 AI训练卡 

十二、燧原科技 

十三、比特大陆产品研发历程 

13.1 比特大陆算丰系列AI加速卡 

13.2 比特大陆SC5 产品规格

 十四、海光 DCU 2号


 

SUMA

浪潮

华为

超微

Dell

HPE/H3C

联想

2U

4卡(T4

X740-H30

NF5280 M5

CS5280H

2288H V5

2029GP-TRT

R740xd

R7425

R7525

DL380 Gen10

DL380 Gen10 +

SR670

SR665

4卡(V100

8卡(T4

X740-H30

Atlas 800

-3000

2029P-TXRT

DL380 Gen10+

R4900 G3

R4950 G5

8卡(V100 PCIe

NF5288 M5

8卡(V100 NVLink

4U

4卡(V100/A100 PCIe

X745-H30

7049GP-TRT

T640

8卡(V100/A100 PCIe

X785-H30

NF5468 M5

NF5468 A5

G560 V5

Atlas 800

-9000

4029GP-TRT

4124GS-TNRT

DSS8440

R5200 G3

R5300 G3

R4300 G3

HG680X

16卡(T4

G530 V5

G2500

6049GP-TRT

8卡(V100 NVLink

X795-H30

NF5468 M5

NF5488 M5

G560 V5

Atlas 800

-9000

4029GP-TVRT

6500 G10

4-6U

8卡(A100 NVlink

NF5488 A5

420GP-TNAR

R5500 G5

10U

16卡(V100 NVlink

NF5888 M5

9029GP-TNRT

一、2U 8卡深度学习推理服务器对比 

SUMA

浪潮

浪潮

Dell

Dell

华为

华为

H3C

H3C

联想

联想

型号

X740-H30

NF5280M5

CS5280H

R740xd

R7525

2288H V5

Atlas 800

—3000

R4900 G3

R4950 G5

SR670

SR665

高度

2U

2U

2U

2U

2U

2U

2U

2U

2U

2U

2U

CPU

2 x Hygon

2 x Intel

2 x Hygon

2 x Intel

2 x AMD ROME

2 x Intel

2 x 鲲鹏

2 x Intel

2 x AMD ROME

2 x Intel

2 x AMD ROME

内存

32

24

32

24

32

24

32

24

32

24

32

硬盘

8/12 x 3.5

24 x 2.5

12 x 3.5

24 x 2.5

12 x 3.5

24 x 2.5

25 x 2.5

12 x 3.5

24 x 2.5

12 x 3.5

25 x 2.5

12 x 3.5

25 x 2.5

12 x 3.5

25 x 2.5

12 x 3.5

8 x 2.5

25 x 2.5

12 x 3.5

网络

板载千兆

可选OCP

无板载

可选OCP

板载千兆

可选OCP

无板载

可选OCP

板载千兆

可选OCP

板载千兆

可选OCP

2 x 板载网络

无板载

可选OCP

1OCP 3.0

无板载

无板载

OCP3.0

PCIe扩展

10PCIe x8(含1个板载RAID

1OCP 插槽)

4PCIe x16/

8PCIe x8

10PCIe x8(含1个板载RAID

1OCP 插槽)

3PCIe x16+

2PCIe x8/

8PCIe x8

8PCIe 4.0

3PCIe x16+

2PCIe x8/

8PCIe x8

8PCIe x8/

3PCIe x16+2PCIe x8

最多8PCIe x8

6PCIe 4.0/3.0 x16+

2PCIe 4.0/3.0 x8

6PCIe x16/

8PCIe x8+

2PCIe x16

8PCIe 4.0

GPU扩展

2 x V100

6P4/T4

4 x V100

8 x T4

4 x 双宽/单宽GPU

3 x V100

6 x T4

3 x 双宽

6 x 单宽

2 x V100

7 x T4/Atlas 300

8Atlas920

3 x V100

8 x T4

2 x 双宽

6 x 单宽

4 x V100

8 x T4

3 x 双宽

8 x 单宽

对比

国产x86平台

存储空间大

支持8 GPU

无法扩展EDR

最新海光平台

共用AMD平台

支持PCIe 4.0

存储空间大

无法扩展8 GPU

不支持8

存储空间大

参数足够,不支持8GPU

支持8

支持PCIe 4.0

支持8

不支持8

支持8

存储空间小

配置均衡

二、4U 4卡(双宽)PCIe深度学习训练/推理服务器 

SUMA

超微

浪潮

戴尔

联想

型号

X745-H30

7049GP-TRT

NF5280M5

T640

SR670

高度

4U

4U/Tower

2U

5U

2U

CPU

2 x Hygon

2 x Intel

2 x Intel

2 x Intel

2 x Intel

内存

16

16

24

24

24

硬盘

12 x 3.5HDD

8 x 3.5HDD

24 x 2.5

12 x 3.5

18 x 3.5HDD
32 x 2.5HDD

8 x 2.5

网络

板载千兆

板载万兆

无板载

可选OCP

板载万兆

板载千兆

PCIe扩展

5PCIe x16/

10PCIe x8+

1PCIe x8

6PCIe x16

1PCIe x4

4PCIe x16/

8PCIe x8

8PCIe slot

6PCIe x16/

8PCIe x8+

2PCIe x16

GPU扩展

4 x V100

8 x T4

4 x V100/P4

4 x V100

8 x T4

4 x V100

8 x T4

4 x V100

8 x T4

对比

PCIe扩展优势明显

支持8T4

不支持板载RAID

PCIe扩展弱

存储空间大

支持8 GPU

无法扩展EDR

存储容量大

机箱超高

存储空间小

三、4U 8卡(双宽)PCIe深度学习训练服务器 

SUMA

浪潮

浪潮

浪潮

华为

华为

Dell

H3C

型号

X785-H30

NF5288 M5

NF5468M5

NF5468A5

G5500

G560V5

Atlas 800—9000

DSS8440

R5300 G3

高度

4U

2U

4U

4U

4U

4U

4U

4U

CPU

2 x Hygon

2 x Intel

2 x Intel

2 x AMD ROME

2 x Intel

4 x 鲲鹏

2 x Intel

2 x Intel

内存

16 x DIMMs

16 x DIMMs

24 x DIMMs

32 x DIMMs

24 x DIMMs

32 x DIMMs

24 x DIMMs

24 x DIMMs

硬盘

12 x 3.5HDD

8 x 2.5HDD

12 x 3.5

24 x 3.5

12 x 3.5

24 x 3.5

8 x 3.5+
8 x 2.5

不超过8 x 2.5HDD

10 x 2.5

24 x 3.5

网络

板载千兆

板载4口万兆

板载万兆

TBD

IO模块

2OCP 3.0CPU直出)

无板载

OCP

无板载

可选OCP

PCIe扩展

10PCIe x16/

19PCIe x8+

2PCIe x16

10PCIe x16

20PCIe slot

TBD

20PCIe x16

2100GOAM扣卡)

4100G PCIe

11PCIe x16/

16PCIe x8+3PCIe x16

20PCIe slot

GPU扩展

8 x V100

16 x T4

8 x V100/T4

8 x V10016 x P4/T4

8 x V100/A100

16 x P4/T4

8 x V100(GP308)

16 x T4  (GP316)

8Atlas920

(可选风冷PCIe标卡和液冷OAM扣卡)

8 x V100

16 x P4/T4

8 x V100

16 x T4

对比

PCIe扩展优势明显

支持16T4带宽低

2U散热和扩展都有明显劣势

存储空间

存储空间

支持PCIe 4.0

存储空间大

模块化设计

成本高

ARM平台深度学习训练服务器

极少使用案例

存储空间不足

性能优化有优势

存储空间大,扩展丰富

四、8NVLink深度学习训练服务器 

SUMA

浪潮

浪潮

浪潮

浪潮

华为

H3C

超微

超微

型号

X795-H30

NF5288M5

NF5468M5

NF5488M5

NF5488A5

G5500/G560V5

R5500 G5

4029GP-TVRT

420GP-TNAR

高度

4U

2U

4U

4U

4U

4U

6U

4U

4U

CPU

2 x Hygon

2 x Intel

2 x Intel

2 x Intel

2 x AMD ROME

2 x Intel

2 x AMD ROME

2 x Intel

2 x AMD ROME

内存

16 x DIMMs

16 x DIMMs

24 x DIMMs

24 x DIMMs

32 x DIMMs

24 x DIMMs

32 x DIMMs

24 x DIMMs

32 x DIMMs

硬盘

24 x 2.5HDD

12 x 3.5HDD

8 x 2.5

12 x 3.5

8 x 2.5

2 x m.2 SATA

8 x 2.5

2 x m.2 SATA

16 x 2.5HDD

25 x 2.5

16 x 2.5

6 x 2.5寸(TBD

网络

板载千兆

板载4口万兆

板载双口万兆

板载双口万兆

板载双口万兆

IO模块

无板载

可选OCP

板载万兆

TBD

PCIe扩展

4PCIe x16

6PCIe x16

(2个前置,4个后置)

4PCIe x16

4PCIe x16

4PCIe  4.0x16

4PCIe x16

10PCIe 4.0

6PCIe x16

TBD

GPU扩展

8 x V100

NVlink

8 x V100 NVlink

8 x V100 NVlink

8 x V100 NVLink

8 x A100

NVLink

8 x A100

NVLink

8 x V100 NVlink

8 x A100 NVlink

8x V100

NVlink

8 x A100 NVlink

对比

2.5寸硬盘扩展数量最多

2U机箱太长

扩展太差

散热太差

存储空间大

3/4PCIe Switch

Intel 平台PCIe 3.0

后续升级支持Whitley

支持PCIe 4.0

模块化设计

成本高

6U机箱,扩展最丰富

PCI扩展最多

五、GPU类型介绍

 GPU英文全称Graphic Processing Unit,中文翻译为“图形处理器”。GPU因其包含更多的处理单元,更高的单宽,具有更强的并行处理能力,已成为高性能计算和深度学习中的重要部件。

品牌

系列

NVIDIA

Tesla(已弃用)

Cambricon

MLU

AMD

Radeon Instinct

 NVIDIA Ampere架构的GPU已取消Tesla标识,直接命名为A100A40等。

六、GPU厂商产品介绍

七、GPU发展趋势

八、NVIDIA GPU架构和产品 

8.1 NVIDIA Ampere系列产品 

8.2、NVIDIA Ampere系列产品 

九、Cambricon 主力产品 

十、 国产GPU卡汇总

十一、寒武纪Data Center Product Roadmap 

 11.1、MLU270 性能优势

11.2、MLU290-M5 AI训练卡 

十二、燧原科技 

十三、比特大陆产品研发历程 

13.1 比特大陆算丰系列AI加速卡 

13.2 比特大陆SC5 产品规格

 十四、海光 DCU 2

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐