浮点算力(FLOPS / TFLOPS)
FLOPS / TFLOPS (Floating-Point Operations per Second)常用芯片每秒能做多少次浮点运算,TFLOPS 表示每秒一万亿次。
FLOPS 是每秒浮点运算次数,用来衡量 GPU、主控芯片的计算能力;TFLOPS 是 10¹² 次/秒,PFLOPS 是 10¹⁵ 次/秒。要和小写 s 的 FLOPs 区分:FLOPs 是一次前向计算总共要做多少次运算,是模型的计算量;FLOPS 是芯片每秒能做多少,二者相除可粗估推理时间。看这个数要注意精度:同一块芯片在 FP32、FP16、FP8、FP4 下的数字差好几倍,厂商宣传常用最低精度或稀疏条件下的峰值;整数运算一般用 TOPS 表示。实际能跑到多少还受显存带宽和算子效率限制。选机器人主控、估算 VLA 能否在端侧实时运行时都会用到它。
例子英伟达 Jetson Thor 宣传的算力按 FP4 精度计,和按 FP16 标的旧款 Orin 不能直接比数字。
- 也叫
- FLOPS、TFLOPS、每秒浮点运算次数
- 相关
- TOPS(每秒万亿次运算)(Tera Operations Per Second)、浮点运算量(FLOPs)(Floating-Point Operations (FLOPs))、数值精度格式(FP32 / BF16 / FP16 / FP8 / INT8)(Numerical Precision Formats (FP32 / BF16 / FP16 / FP8 / INT8))、Jetson Thor(NVIDIA Jetson Thor)、主控(Onboard Compute Platform)、推理延迟(Inference Latency)
- 来源
- FLOPS - Wikipedia