想读懂 llama.cpp,最好的路径是从底往上:先看它如何设计推理引擎(GGML),再看模型如何从磁盘走进内存(GGUF),最后看它如何把推理搬到局域网的另一台机器上(RPC)。3 篇文章按发文时间顺序读即是推荐阅读顺序。
全系列
- llama.cpp 源码解析(一):GGML——大模型推理引擎是如何设计的:张量库的核心抽象与计算图
- llama.cpp 源码解析(二):GGUF 格式与模型加载——从磁盘文件到内存张量:GGUF 二进制结构、量化类型与加载全流程
- llama.cpp RPC 局域网分布式推理验证:分层切分的原理与实测
怎么读这个系列
- 想读懂源码:按顺序读,GGML 的抽象是后两篇的地基
- 只想跑模型:第二篇的 GGUF 一节够用了
- 手里有多台机器:直接看第三篇的 RPC 实测数据再决定要不要折腾