吴杭沉的博客

几乎在所有的大型语言模型（LLM）面试中，都有一个经常被问到的问题：”服务一个大型语言模型需要多少GPU内存？” 这个问题并非随意提出——它是检验你对这些强大模型在生产环境中部署和可扩展性理解程度的关键指标。在使用像 GPT、LLaMA 或

2026-01-21 LLM

LLM

看 AI 芯片、GPU、模型训练和推理时，经常会看到这些词：FP64、FP32、TF32、BF16、FP16、FP8、INT8、INT4、NVFP4 它们本质上都在回答一个问题：计算机到底用多少 bit 来表示一个数字，以及这个数字怎么被表

2026-01-16 LLM

LLM

一、RPC 分布式推理的核心原理llama.cpp 的 RPC 模式基于一个非常朴素的想法：大模型是一层一层叠起来的，不同层可以在不同机器上算。 Transformer 模型的每一层计算相对独立——上一层算完把结果传给下一层。这就给了分布式

2026-01-11 llama.cpp

llama.cpp

这是 llama.cpp 源码系列的第二篇。上一篇我们拆解了推理引擎 GGML，理解了张量、Arena、延迟执行、Galloc、KV Cache、线程模型的完整骨架。但还有一个问题没回答：模型文件本身是怎么设计的？从磁盘上的一个文件，到

2026-01-06 llama.cpp

llama.cpp

几周前我开始看 llama.cpp 的源码。想看看”为什么我这台本地的笔记本也能跑得动 7B 甚至 14B 模型”，结果发现——这个项目太有意思了。所以我准备尝试写篇系列文章（又开新坑😂）。从推理引擎开始，如果你也想知道 llama.c

2026-01-01 llama.cpp

llama.cpp

在 ARM 嵌入式平台上，程序崩溃后往往只留下一句模糊的报错，日志里很难定位到崩溃现场。qBreakpad 是基于 google-breakpad 封装的 Qt 库，可以在程序崩溃时自动生成 dump 文件，方便事后用符号文件还原调用栈。本

2021-01-31 C++

C++

Shell 是每个开发者的日常工具，掌握一些高频技巧能显著提升命令行下的工作效率。本文整理了别名定义、后台任务管理、重定向与管道、批量处理、进程管理、磁盘排查等实用技巧，每个技巧都配有可直接运行的示例，方便边看边练。 alias 命令别名对

2021-01-24 Shell

Shell

netstat 命令用于显示各种网络相关信息，如网络连接、路由表、接口状态（Interface Statistics）、masquerade 连接、多播成员（Multicast Memberships）等等。它是排查网络问题最常用的工具之一

2021-01-17 Shell

Shell

nc 即 netcat 命令，这个工具在排查网络故障时非常有用，功能非常强大，因而被业界称为网络界的”瑞士军刀”，请读者务必掌握。默认系统是没有这个命令的，你需要先安装一下。 nc 命令常见的用法是模拟一个服务器程序被其他客户端连接，或者模

2021-01-10 Shell

Shell

JSON 是前端编程经常用到的格式，对于 PHP 或者 Python，解析 JSON 都不是什么大事，尤其是 PHP 的 json_encode 和 json_decode 非常好用。而 Linux 下也有这样的神器，就是 jq 命令，对于

2021-01-03 Shell

Shell

在 Linux 中，curl 是一个利用 URL 规则在命令行下工作的文件传输工具，可以说是一款非常强大的 HTTP 命令行工具。它支持文件的上传和下载，是综合传输工具，但按传统，习惯称 curl 为下载工具。本文先介绍 curl 的常见参

2020-12-27 Shell

Shell

作为系统维护人员，你肯定遇到过硬盘被占满的情况。日志文件往往是占用大量磁盘空间的”罪魁祸首”，但要找出这些”隐形”的大块头并非易事。本文介绍几个高效的命令和工具，帮助你快速定位并管理这些占用空间的大文件。用 du 查看磁盘使用情况du（d

2020-12-20 Shell

Shell