大模型计算及GPU相关概念记录

浮点运算

算力最基本的计量单位是 FLOPS，英文 Floating-point Operations Per Second，即每秒执行的浮点运算次数。浮点运算其实就是带小数的加减乘除运算。

算力的计量单位，除了 FLOPS，从小到大还有：

• KFLOPS（每秒1000次浮点运算，10^3）
• MFLOPS（每秒1百万次，10^6）
• GFLOPS（每秒10亿次，10^9）
• TFLOPS（每秒1万亿次，10^12）
• PFLOPS（每秒1000万亿次，10^15）
• EFLOPS（每秒100亿亿次，10^18）

IEEE 754标准定义了三种常见的浮点数格式：单精度、双精度和扩展双精度，它们适用于不同的计算需求。一般来说，单精度适合一般计算，双精度适合科学计算，扩展双精度适合高精度计算。一个遵循 IEEE 754标准的系统必须支持单精度类型（强制类型），最好也支持双精度类型（推荐类型），而扩展双精度类型则是可选的。