1、CPU、GPU 和 TPU 的功能对比

CPU、GPU 和 TPU 都是处理器,但它们的设计目标和擅长的任务截然不同,可以将它们理解为不同类型的员工:

CPU (通用处理器):通才,擅长处理各种复杂的逻辑和串行任务。

GPU (图形与并行处理器):并行计算专家,擅长同时处理海量的简单、重复性任务。

TPU (张量处理单元):AI 专用加速器,是 Google 专门为机器学习设计的 ASIC(Application-Specific Integrated Circuit 的缩写,中文称为专用集成电路),单位最聚焦于AI任务。

2、单位使用对比

3、为什么单位不同

4、单位详解

TFLOPS和TOPS都是衡量AI算力的单位,它们的核心区别在于计算精度和应用场景。

TOPS→ 通常指整数运算(INT8/INT4等)

TFLOPS→ 专指浮点运算(FP32/FP16/FP8等)

OPS相关

形象表示:1 TOPS = 1,000,000,000,000 次操作/秒

FLOPS相关

形象表示:2070 TFLOPS = 每秒可以进行2070万亿次浮点运算

TOPS数值与计算精度密切相关,不同精度下的TOPS不能直接比较:

举例:

行业惯例:边缘AI芯片(如瑞芯微、地平线)通常用INT8 TOPS标称;数据中心芯片(如英伟达H100)常用FP16/FP8 TFLOPS标称。

5、需要注意的几点

精度差异:TFLOPS数值与计算精度相关(FP32/FP16/INT8/FP8),精度越低算力数值越高,但计算准确度可能下降,确认精度后再对比(追问精度)。

实际利用率:理论算力≠实际性能(参考实际benchmark),软件优化、内存带宽(算力高但带宽不足,需要同时关注GB/s指标)、散热等都会影响实际表现。

功耗平衡:高算力通常伴随高功耗,对续航是挑战。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐