LLaMA-3 8B 计算规模、信息流与能耗

整合自对话记录与 LLaMA-3 8B 架构图（Llm arch 1080P.html），涵盖 LLaMA-3 8B 架构参数、现代设计改动的来龙去脉（GQA / RoPE / SwiGLU / KV Cache）、完整前向传播数值演示，以及 FLOPs 与训练能耗的关系。

一、LLaMA-3 8B 基本参数

二、从 GPT-3 到 LLaMA-3：四个关键设计改变

在看具体计算之前，先弄清楚 LLaMA-3 和 GPT-3 的核心区别在哪里。

这四个改变是 2021～2024 年间大语言模型研究积累的工程经验，每一个都有具体的数值意义，下面逐步展开。

三、完整前向传播：用具体数值走一遍

Transformer 解码器架构总览：Input → Tokenization → Embedding → [LayerNorm + Attention heads + 残差 + LayerNorm + MLP + 残差] × L → LayerNorm → Unembed → Logits → Softmax → 下一个 token 概率分布

先追踪 1 个 token，感受张量形状；最后乘以批量感受总规模。

第一步：Embedding 查表

词表矩阵的形状：

假设句子 "猫追鱼"，分词后得到 3 个 token（实际 tokenizer 可能不同，此处为示意）：

取出 "猫" 对应的行：

重要：LLaMA-3 不在 Embedding 层加位置信息。

GPT-3 会在这一步把位置 Embedding 叠加到词 Embedding 上（$x_0 = \text{Emb} + \text{PosEmb}$）。LLaMA-3 没有独立的位置 Embedding 表，位置信息通过后面的 RoPE 旋转进 Q 和 K，不改变这里的 $x_\text{猫}$。

第二步：Pre-RMSNorm

形状不变：$[1,\ 4096] \rightarrow [1,\ 4096]$

LLaMA-3 在每个 Block 的注意力和 FFN 之前各做一次 RMSNorm（Pre-Norm）。GPT-3 同样使用 Pre-Norm 顺序（Pre-LayerNorm），区别在于 LLaMA-3 把 LayerNorm 换成了计算更轻量的 RMSNorm。

LLaMA-3 vs GPT-3 归一化的真正区别：两者都用 Pre-Norm 顺序（先 Norm，再做注意力/FFN），区别不在于 Pre vs Post，而在于 Norm 的类型——GPT-3 用 LayerNorm（含均值计算），LLaMA-3 用 RMSNorm（去掉均值，只保留 RMS 缩放）。

第三步：GQA 注意力——四次矩阵乘法

GQA（Grouped Query Attention，分组查询注意力）是 LLaMA-3 相较于 GPT-3 在注意力层最大的结构差异。

生成 Q、K、V：形状不对称

Q 投影（32 个 Query head）：

切分为 32 个 Query head，每头 128 维：

K 投影（只有 8 个 KV head）：

切分为 8 个 KV head，每头 128 维：

V 投影（同样 8 个 KV head）：

形状一览：

Q head 0, 1, 2, 3    → 共用 KV head 0
Q head 4, 5, 6, 7    → 共用 KV head 1
...
Q head 28, 29, 30, 31 → 共用 KV head 7

KV head 0：
  位置 1（猫）：k₁,₀ = [1.0, 0.5, ...]   v₁,₀ = [0.3, -0.1, ...]   ← 128 个数
  位置 2（追）：k₂,₀ = [0.6, -0.2, ...]  v₂,₀ = [0.1,  0.8, ...]
  位置 3（鱼）：k₃,₀ = [0.2,  0.4, ...]  v₃,₀ = [0.6,  0.2, ...]

RoPE：把位置旋转进 Q 和 K

RoPE 只作用在 Q 和 K 上，V 不旋转，形状不变：

具体做法：把每个 head 的 128 维向量按两两一组拆成 64 个平面：

在位置 $p$，第 $i$ 个平面旋转角度 $\theta_{p,i} = p \cdot \theta_{\text{base}}^{-2i/d_\text{head}}$：

计算注意力得分（以"鱼"看全句为例）

以 "鱼"（位置 3）为例，Q head 0 使用 KV head 0 的数据。

Step 1：Q、K 的值（已应用 RoPE，旋转角不同的两个 token 点积自然包含相对距离）

Step 2：计算得分（除以 $\sqrt{128} \approx 11.3$）

Step 3：Softmax 归一化（因果掩码："鱼"在位置 3，可以看 1、2、3，看不到未来）

验算：$e^{0.029} \approx 1.0294,\ e^{0.046} \approx 1.0471,\ e^{0.063} \approx 1.0650$，和 $\approx 3.1415$；各除以和得 $[0.328,\ 0.333,\ 0.339]$，三者之和 $= 1.000$。✓

三者分数差距很小（0.029 / 0.046 / 0.063），Softmax 之后权重也相近，"鱼"对全句各位置关注较为均匀。

Step 4：加权求和，单头输出（公式等同于 GPT-3 的单头 attention）

输出形状：$[1,\ 128]$

Step 5：32 个 head 拼接

O 投影（第 4 次矩阵乘法）：

$W_O$ 的作用：32 个 head 的输出只是简单拼接，$W_O$ 重新混合来自不同 head 的信息，让各 head 的语义真正融合。

以下展开对 GQA 多头注意力完整计算流程的说明。

多头注意力完整流程图（LLaMA-3 8B GQA 版）

x₃（"鱼"）[1, 4096]
       │
   ┌───┴──────────── 32 个 Q head 并行 ────────────────────┐
   │                                                         │
   │   Q head 0,1,2,3 → 共用 KV head 0                      │
   │   Q head 4,5,6,7 → 共用 KV head 1                      │
   │   ...                                                   │
   │   Q head 28,29,30,31 → 共用 KV head 7                   │
   │                                                         │
   │  （以 Q head 0 为例）                                    │
   ├── q₃ = x₃ × W_Q[4096,128] → [1,128]
   ├── k₁,k₂,k₃ = x₁,x₂,x₃ × W_K[4096,128] → 各 [1,128]  ← KV head 0
   ├── v₁,v₂,v₃ = x₁,x₂,x₃ × W_V[4096,128] → 各 [1,128]
   ├── score = q₃·kⱼᵀ / √128
   ├── softmax → α₃₁,α₃₂,α₃₃
   └── Σαⱼ·vⱼ → head₀ [1,128]
   │                                                         │
   └──────────── 拼接 concat ──────────────────────────────┘
                 [1, 4096]（= 32 × 128）
                      │
                  × W_O [4096,4096]
                      │
                  [1, 4096]

量纲自检：注意力层

第四步：残差连接

第五步：SwiGLU 前馈网络——三次矩阵乘法

GPT-3 的 FFN 是两次矩阵乘法；LLaMA-3 的 SwiGLU FFN 需要三次。

先做第二个 Pre-RMSNorm（形状不变），然后走两条并行的上投影路径：

Gate 投影：

再过 SiLU 激活函数：

SiLU 输出接近 0 的地方"关门"，输出大正数的地方"全开"，是一个连续可微的"开关"。

Up 投影：

逐元素相乘（门控）：

Down 投影（降维）：

量纲自检：FFN 层

第六步：Unembedding + Softmax

经过 32 层后，做 Final RMSNorm，再经过 LM Head：

Softmax 后得到 128,256 个词的概率分布，取样得到下一个 token。

完整数据流

1 个 token（id = 某整数）
   ↓ Embedding [128256, 4096]
x₀: [1, 4096]
   ↓ × 32 层，每层：
   │
   ├─ Pre-RMSNorm → [1, 4096]
   ├─ × W_Q [4096,4096] → Q: [1,4096] → 32 头，每头 [1,128]
   ├─ × W_K [4096,1024] → K: [1,1024] → 8 头，每头 [1,128]
   ├─ × W_V [4096,1024] → V: [1,1024] → 8 头，每头 [1,128]
   ├─ RoPE(Q, K) → 形状不变，点积编入相对位置信息
   ├─ GQA：每 4 个 Q head 共用 1 个 KV head
   ├─ 注意力得分 + 加权求和 → 32 头输出各 [1,128] → 拼接 [1,4096]
   ├─ × W_O [4096,4096] → [1,4096]
   ├─ ⊕ 残差连接 → [1,4096]
   ├─ Pre-RMSNorm → [1, 4096]
   ├─ × W_gate [4096,14336] → SiLU → [1,14336]   ─┐ 两路并行
   ├─ × W_up   [4096,14336] →         [1,14336]   ─┘
   ├─ ⊙ 逐元素相乘（门控）→ [1,14336]
   ├─ × W_down [14336,4096] → [1,4096]
   └─ ⊕ 残差连接 → [1,4096]
   ↓ 32 层后
h_final: [1, 4096]
   ↓ Final RMSNorm → [1, 4096]
   ↓ × LM Head [4096, 128256]
logits: [1, 128256]
   ↓ Softmax / top-p / top-k
预测的下一个 token

四、一层 Block 参数量汇总

与 GPT-3 的横向对比：

两者整体规模比：$175\text{B} / 8\text{B} \approx 21.8$ 倍；但一层参数比约 $1812\text{M} / 218\text{M} \approx 8.3$ 倍，远小于整体比。原因：GPT-3 有 96 层，LLaMA-3 只有 32 层，层数之比约 3×，$8.3 \times 3 \approx 25$，与整体比 21.8× 数量级一致（差异来自 Embedding 等非块参数占比不同）。

五、32 层累计与总参数量

Embedding：

LM Head（不共享权重）：

Final RMSNorm：$4{,}096$

总计：

约 8.03B 参数。✓ 与标称一致。

六、KV Cache：为什么 GQA 对推理至关重要

自回归推理时，每生成一个新 token，旧 token 的 $K$ 和 $V$ 不需要重新计算——只需在第一次经过时把它们存起来，后续生成直接读取。

LLaMA-3 8B 的 KV Cache 计算：

一层、一个 token 需要存储的元素数：

BF16 每个数 2 字节：

32 层：

如果用 MHA（32 个 KV head 而不是 8 个）：

8K 上下文：

GQA 把 8K 上下文的 KV Cache 从 4 GB 降到 1 GB——降为 1/4。

直觉：KV Cache 大小 = 层数 × KV head 数 × head 维度 × 序列长度 × 精度字节数。GQA 把 KV head 从 32 砍到 8，其余不变，Cache 直接缩小 4 倍。

七、FLOPs 计算：Prefill 与 Decode 分开看

推理分两个阶段，计算特征完全不同：

Prefill（seq_len = 8192，32 层）

一层线性层 FLOPs（attention 4 次 + FFN 3 次，共 $41.9\text{M} + 176.2\text{M} = 218.1\text{M}$ 参数）：

一层 attention 二次项（$QK^\top$ + $AV$）：

32 层总 FLOPs：

即 8K prompt 的一次 prefill 约 150 TFLOPs。

Decode（已有 8192 token 的 KV Cache，生成第 8193 个 token）

一层线性层（仅 1 个 token）：

一层 attention（1 个 query token 看 8193 个历史 token）：

32 层合计：

加上 LM Head：

单 token decode 约 19.3 GFLOPs。

八、训练 FLOPs 与能耗换算

用经验公式估算训练 FLOPs

大语言模型训练常用粗略估算：

其中 $N$ 为参数量，$T$ 为训练 token 数，系数 6 来自"前向 $\approx 2NT$，反向 $\approx 4NT$"。

LLaMA-3 8B：

Meta 披露的实际训练数据

Meta 在 LLaMA-3 8B 的 model card 中公开了预训练计算：

电能：

Meta 披露的碳排放：

理论 FLOPs 与 GPU 小时的连接

把理论训练 FLOPs 除以总 GPU 秒数，得到每张 GPU 的端到端有效吞吐：

H100 SXM5 的 BF16 Dense（无稀疏）峰值为 989 TFLOP/s（注意：494 TFLOP/s 是 TF32 Dense 的值，BF16 Dense 是其两倍），因此端到端模型浮点利用率（MFU）约：

完整换算链条

训练 token 数 T × 参数量 N × 6
   = 理论训练 FLOPs
   ÷ H100 BF16 Dense 峰值（~989 TFLOP/s）
   ÷ MFU（~15.6%）
   = 实际 GPU 秒数
   ÷ 3600
   = 实际 GPU 小时数
   × GPU 功耗（0.7 kW）
   = 总电能（kWh）
   × 电网碳强度（kg CO₂/kWh）
   = 碳排放

LLaMA-3 8B vs GPT-3 训练能耗对比

LLaMA-3 8B 的参数量是 GPT-3 的 1/22，但训练 token 多 50 倍，总计算量反而更大。更小的模型 + 更多的数据——这是 Chinchilla 定律（Hoffmann et al., 2022）在工程上的体现：给定算力预算，缩小模型规模、增加训练数据，能取得更好的效率。

九、总结

LLaMA-3 8B 在 GPT-3 架构基础上做了四项关键改进：Pre-RMSNorm 让深层训练更稳定（去掉均值计算和偏置，Pre-Norm 顺序让梯度有直通路径）；GQA 把 KV Cache 从 MHA 的 4 GB（8K 上下文）压到 1 GB（降为 1/4），推理吞吐因此大幅提升；RoPE 把位置旋转进 Q/K 点积，天然表达相对距离并支持长上下文扩展，$\theta_\text{base}=500{,}000$ 是为 8K 上下文把旋转速度放慢 50 倍；SwiGLU 给 FFN 加了动态门控分支，用三次矩阵乘法换来更强的特征选择能力，中间维度 14336 是 Meta 实验选出的经验最优值（$= 112 \times 128$，非参数对齐直接推导）。训练了 15T+ token 后总计算量约 $7.23\times10^{23}$ FLOPs，Meta 披露实际用电约 910 MWh、碳排放 390 tCO₂eq，端到端 MFU 约 15.6%（以 H100 BF16 Dense 989 TFLOP/s 为基准）。