一句话总结
NVIDIA 官方的推理优化全景图：从 prefill/decode 两阶段的硬件特性差异出发，把优化手段分成三层——显存怎么放（并行、KV cache 分页）、模型怎么改（量化、稀疏、蒸馏）、服务怎么调度（in-flight batching、投机推理）——是理解 LLM 推理优化技术树的最佳单篇地图。
核心观点
1. prefill 和 decode 的硬件特性差异是一切优化的起点
prefill 阶段处理全部输入 token 算 K/V，因为输入范围完全已知，本质是矩阵-矩阵运算、高度并行、能打满 GPU 算力。decode 阶段逐 token 自回归生成，每生成一个 token 都要读全部历史 K/V，本质是矩阵-向量运算，瓶颈是数据从显存搬到计算单元的速度而非计算本身。这个区分解释了为什么后续所有优化几乎都指向 decode 阶段（高效 attention 模块、KV cache 管理），也解释了为什么”算力翻倍”不必然带来推理速度翻倍——decode 根本不缺算力，缺的是带宽。
2. KV cache 的显存公式决定了整个系统的容量上限
作者给出的公式是全文最有操作价值的部分：
- 每 token 的 KV cache 字节数 =
2 × num_layers × (num_heads × dim_head) × precision_bytes（前导 2 对应 K 和 V 两个矩阵，num_heads × dim_head通常等于 hidden_size） - KV cache 总大小 =
batch_size × sequence_length × 2 × num_layers × hidden_size × sizeof(FP16)
代入 Llama 2 7B（16 位精度、batch=1、序列 4096）：1 × 4096 × 2 × 32 × 4096 × 2 ≈ 2GB。也就是说单条 4K 上下文的请求光 KV cache 就吃掉 2GB，而模型权重本身才 14GB。这个线性增长关系（随 batch 和序列长度双重线性）是”KV cache 管理”成为独立优化领域的直接原因，也是长上下文服务成本高的数学根源。
3. 三种模型并行方式的取舍逻辑
- 流水线并行：把模型按层纵向切分到不同设备。缺点是顺序执行导致设备空等（pipeline bubble），用 micro-batch 把全局 batch 切片流水执行可以缩小气泡但无法消除。
- 张量并行：把单层横向切分。attention 的多头天然可并行（每个头或每组头分到不同设备），MLP 的权重矩阵也可切（
A拆成A₁/A₂，各自算XA₁/XA₂再由归约操作g合并）。缺点是对 LayerNorm、Dropout 这类操作不适用（它们会被复制到整个张量并行组，造成激活值冗余存储）。 - 序列并行：把 LayerNorm/Dropout 沿序列维度切分，解决张量并行留下的冗余激活存储问题。
作者强调这些技术不互斥、可组合使用，且都已在 Megatron-LM 和 NeMo 中实现。
4. 注意力优化沿着”减少 KV 存储与搬运”这条主线演进
演进路径很清晰：MHA（每个头独立 Q/K/V 投影，表达力强但 KV 冗余）→ MQA（所有头共享一份 K/V，计算量与 MHA 相同但读取数据量仅为零头，KV cache 大幅缩小，代价是精度可能下降且模型必须用 ~5% 训练量微调过）→ GQA（折中：KV 头数多于一但少于 Q 头数，Llama 2 70B 采用，可用远少于原始训练的计算量从 MHA 升训得到接近 MHA 的质量）。另一条线是 FlashAttention，思路完全不同——它不改变数学，而是改计算顺序以利用 GPU 内存层级：用 tiling 一次算完并写出最终矩阵的一小块，避免”对整个矩阵分步计算再写出中间值”带来的反复读写。因为它是 exact attention（数学上与标准多头注意力完全一致），可以直接替换进已有模型甚至已训练好的模型而无需任何改动。
5. 量化、稀疏、蒸馏是三条改权重本身的路线，难点各不相同
- 量化：权重量化比激活量化容易得多（权重训练后固定），但 GPU 没有 INT8×FP16 的专用乘法硬件，权重要转回高精度才能运算，所以只量化权重会浪费一部分性能。量化激活的真正难点是离群值（outlier）——激活向量的动态范围被少数极端值撑大，难以用低位宽表示。解法要么是先用代表性数据找出离群值位置并对其保留高精度（LLM.int8() 的思路），要么借用权重的动态范围。
- 稀疏：GPU 对结构化稀疏（每 4 个值中固定 2 个为 0）有硬件加速，稀疏表示可再叠加量化获得更大加速，但”如何最好地表示 LLM 的稀疏格式”仍是开放问题。
- 蒸馏：让小模型（student）模仿大模型（teacher）的输出，可匹配 logits 或中间层激活。作者提了一个容易被忽略的现实约束：当前多数 SOTA LLM 的许可证禁止用其输出训练其他模型，这让寻找合适 teacher 变得困难。
6. 服务层的两条并行化路线
即使做完上述所有优化，模型依然大概率是 memory-bandwidth bound，所以核心原则是”权重加载进来时尽量多干活”。两条路线：in-flight batching（连续批处理，同一时刻执行多个不同请求，完成的序列立即被逐出、新请求立即补位）与投机推理（同一序列的多个步骤并行执行，用小模型预判多步、大模型并行验证）。
关键引用
“In effect, the two main contributors to the GPU LLM memory requirement are model weights and the KV cache.”
“Size of KV cache per token in bytes = 2 * (num_layers) * (num_heads * dim_head) * precision_in_bytes”
“The speed at which the data (weights, keys, values, activations) is transferred to the GPU from memory dominates the latency, not how fast the computation actually happens. In other words, this is a memory-bound operation.”
“Exact attention means that it is mathematically identical to the standard multi-head attention (with variants available for multi-query and grouped-query attention), and so can be swapped into an existing model architecture or even an already-trained model with no modifications.”
来源
Agent 短评
这篇的定位是”技术树地图”而非”实现指南”——它把优化手段按作用对象分成三层（显存布局 / 模型权重 / 服务调度），每层给出原理和取舍，几乎不提供可运行的代码或配置。这种写法的收益是体系感强：读者能看清 MQA/GQA、FlashAttention、paged KV cache、量化、in-flight batching 各自的坐标，不会把它们混成一锅”加速技巧”。局限性同样明显：一是写于 2023 年，此后 attention 变体（MLA 等）、MoE 的路由与专家并行、FP8/FP4 训练与推理、prefill/decode 分离部署（disaggregated serving）等都已进入主流，本文完全没有覆盖；二是面向 NVIDIA 自有栈（TensorRT-LLM、Megatron-LM、NeMo）的软性推广明显，讨论 KV cache 分页时也把 PagedAttention 作为一项技术并列介绍，未突出它其实是 vLLM 的贡献；三是部分公式（如 KV cache 每 token 大小）假设了非 MLA 的标准架构，套用到 DeepSeek 这类压缩 KV 的模型上会高估。适合作为入门路线图，之后需要按主题各自深入原始论文，或对照 vLLM/Anyscale 那两篇看工程视图。