llama.cpp 系列导读:源码解析三部曲

想读懂 llama.cpp,最好的路径是从底往上:先看它如何设计推理引擎(GGML),再看模型如何从磁盘走进内存(GGUF),最后看它如何把推理搬到局域网的另一台机器上(RPC)。3 篇文章按发文时间顺序读即是推荐阅读顺序。

全系列

怎么读这个系列

  • 想读懂源码:按顺序读,GGML 的抽象是后两篇的地基
  • 只想跑模型:第二篇的 GGUF 一节够用了
  • 手里有多台机器:直接看第三篇的 RPC 实测数据再决定要不要折腾

   转载规则


《llama.cpp 系列导读:源码解析三部曲》 由 吴杭沉 采用 知识共享署名 4.0 国际许可协议 进行许可。
 上一篇
llama.cpp 源码解析(一):GGML——大模型推理引擎是如何设计的 llama.cpp 源码解析(一):GGML——大模型推理引擎是如何设计的
几周前我开始看 llama.cpp 的源码。想看看”为什么我这台本地的笔记本也能跑得动 7B 甚至 14B 模型”,结果发现——这个项目太有意思了。所以我准备尝试写篇系列文章(又开新坑😂)。 从推理引擎开始,如果你也想知道 llama.c
2026-01-01
下一篇 
RPC 系列(四十三):ExecutionQueue 详解 RPC 系列(四十三):ExecutionQueue 详解
类似于 kylin 的 ExecMan,bthread::ExecutionQueue 提供了异步串行执行的功能。ExecutionQueue 的相关技术最早使用在 RPC 中实现多线程向同一个 fd 写数据,在 r31345 之后加入到了
2024-06-25
  目录