大模型推理优化是一个层层递进的话题：先搞懂数在硬件上长什么样，再算清模型要占多少内存，然后理解 KV Cache 这个核心机制，接着学会用量化压缩它，最后把带宽、容量这些端侧约束和投机解码这类算法加速串起来。7 篇文章按发文时间顺序读即是推荐阅读顺序。
全系列
- LLM 推理系列（一）：讲清 FP64、FP32、TF32、BF16、FP16、FP8、INT8、INT4、NVFP4：一切优化的地基——数字在硬件上的表示
- LLM 推理系列（二）：运行大型语言模型需要多少 GPU 内存？：权重、激活、KV Cache 的显存账本
- LLM 推理系列（三）：KV Cache 原理与显存占用：以空间换时间的核心机制与显存大头
- LLM 推理系列（四）：模型量化——原理与范式：W4A16 等范式的原理与取舍
- LLM 推理系列（五）：内存带宽——端侧 LLM 的第一瓶颈：为什么 decode 速度被带宽卡死
- LLM 推理系列（六）：内存容量——端侧 AI 的入场券：能不能跑得起来由它决定
- LLM 推理系列（七）：投机解码（Speculative Decoding）：用小模型草稿换大模型吞吐
怎么读这个系列
- 刚入门 LLM 推理：按顺序读，前三篇是绕不开的地基
- 做端侧部署：第五、六篇（带宽与容量）是硬件选型的核心依据
- 想提吞吐：第四篇的量化与第七篇的投机解码是目前收益最大的两件事
