关于 LLM 的本地部署正如我之前在《[[关于 AI 的学习路线图]]》一文中所提到的从学习的角度来说如果我们要想切实了解 LLM 在计算机软件系统中所处的位置以及它在生产环境中所扮演的角色最直接的方式就是尝试将其部署到我们自己所在的计算机环境中并通过测试来观察它与用户的交互方式。但是如果想要实现在本地部署 LLM 这种大型应用我们首先要解决一个很现实的问题如何用有限的硬件资源、以可控的方式将其运行起来很显然就目前阶段的学习任务来看如果我们从直接编译源码、手动配置推理引擎、管理模型权重与依赖环境来着手大概率会让自己的学习重心过早地偏向底层细节而模糊了我们真正想观察的目标 —— LLM 在生产环境中所扮演的角色。因此我个人会推荐读者从一款名为 Ollama 的开源模型管理工具来着手该工具可以让人们在不必关心底层实现细节的情况下快速地完成 LLM 的部署与测试。下面就让我们来具体介绍一下 Ollama 及其使用方法。如果想直接基于深度学习框架来部署 LLM也可以参考本文在“参考资料”一节中提供的视频教程《基于 Transformer 库的 LLM 部署演示》。了解并安装 OllamaOllama 是一款基于 MIT 协议开源的、面向本地环境的 LLM 运行与管理工具它的核心设计目标是以尽可能低的使用门槛将“运行一个 LLM”这件事变成一项标准化、可重复的工程操作。具体来说就是Ollama 在整个与 LLM 相关的系统中大致承担了以下职责模型生命周期管理负责模型的拉取、存储、版本管理与运行推理环境封装屏蔽底层推理引擎、量化方式与硬件差异统一的调用接口通过 CLI 或 API 的形式对外提供一致的使用方式。这意味着用户在使用 Ollama 时并不需要关心模型权重具体存放在哪里、底层使用了哪种推理后端也不必在一开始就纠结于 CUDA、Metal 或 CPU 优化等问题。很显然我们在这里选择 Ollama本质上是一种刻意降低系统复杂度的学习策略目的是将学习重点放在观察模型本身的行为以及它与系统其他部分的交互方式上但它并不足以应对实际生产环境中的所有问题。Ollama 的安装过程本身非常简单读者可以自行前往它的官方下载页面并根据该页面中的提示基于自己所在的操作系统完成安装即可具体如图 1 所示。图 1Ollama 的下载页面如果安装过程一切顺利我们就可以通过在命令行中输入ollama命令来验证安装是否成功。如果安装成功了该命令会返回 Ollama 的使用提示信息如图 2 所示。图 2Ollama 的使用提示信息接下来我们要做的就是选择一款适合当前学习任务的 LLM并尝试使用 Ollama 来将其部署到我们的本地环境中。选择并部署 LLM关于应该选择什么模型来完成我们在这一阶段的学习这主要取决于我们要实验的任务类型和电脑配置。以下这张表是我基于这篇笔记写作的时间点即 2026 年 2 月整理出的当前主流的候选模型。推荐模型主要特点与优势适用场景硬件要求参考通用最佳平衡Qwen2.5-7B7B 级别综合性能强指令跟随、长上下文支持好通用性高。文档总结、内容创作、知识问答、轻量级智能体任务。16GB 内存量化后可降低需求。Llama 3.3 系列Meta 出品生态完善工具调用支持好3B 版本速度极快。快速对话、多语言任务、对响应速度要求高的应用。3B 模型8-16GB 内存8B 模型需求更高。专注编程任务Qwen3-Coder 系列阿里出品在代码理解和生成任务上表现优异有不同尺寸可选。代码解释、补全、测试、学习编程。1.7B/4B/8B 等不同规格可按需选择。Mistral 系列Mistral AI 的编程专用模型擅长生成、测试和解释代码。专注于软件开发辅助的各类任务。推荐 16GB 以上内存。资源受限环境SmolLM3-3B完全开源性能优秀在 3B 级别中表现出色可控性强。对开源合规要求高或需要在低配硬件上部署。可在普通笔记本电脑上运行。Llama 3.2 3B体积小、速度快适合部署在多种设备上对硬件要求低。需要即时响应的嵌入式应用或移动端场景。8-16GB 内存即可。根据上面的表格我们可以先参照以下提示来确定选择如果硬件资源不给力例如内存容量只有 16GB 或更少没有独立显卡可以选择SmolLM3-3B或Llama 3.2 3B如果想优先考虑通用对话和写作可以选择Qwen2.5-7B或Llama 3.3 8B如果想优先考虑将其用于编程辅助Qwen3-Coder或Mistral系列可能是更好的选择由于这篇笔记的任务是基于学习的目的来部署 LLM它最好能让读者在最普通的个人笔记本上进行过程相对流畅的实验因此我决定接下来就选择Llama 3.2 3B来进行演示了。基本上使用 Ollama 部署 LLM 的操作步骤与使用 docker 部署服务端应用的过程非常类似具体如下拉取模型打开命令行终端并输入ollama pull llama3.2:3b命令即可从 Ollama 的官方服务器上拉取我们所选择的 LLM 镜像如图 3 所示。图 3使用 Ollama 拉取 LLM 镜像正如读者所见如果镜像被顺利拉取到本地当我们继续在命令行终端输入ollama list命令时就可以看到llama3.2:3b这个镜像已经存在于 Ollama 在本地管理的镜像列表中了。运行测试继续在图 3 所示命令行界面中输入ollama run llama3.2:3b命令即可开始交互测试。在这里我们演示的是一个 LLM 版的“Hello World”如图 4 所示。图 4使用 Ollama 运行 LLM 镜像至此我们就算完成了一次基于 Ollama 的 LLM 本地部署作业。需要特别强调的是由于受到硬件资源的限制我们在这里所部署的这个 LLM 在功能上是远远不能满足实际生产需求的它在这里的任务只是供我们用测试的方式来观察 LLM 在生产环境中所扮演的角色。针对 LLM 的测试与观察下面让我们来具体测试一下这个基于 Ollama 完成本地部署的 LLM。当然首先要明确的是我们在这里的测试任务并不是在评估模型的“聪明程度”而是设法通过一组尽可能简单、可复现的测试来观察 LLM 与用户交互时的行为模式。换句话说我们希望通过测试来了解LLM 作为系统组件时的响应方式、失败模式以及可控性边界。因此在测试方式的选择上我在这里选择使用 Python 脚本通过 HTTP API 的方式来调用本地运行的 LLM用于模拟更接近实际生产环境的使用场景。使用 Python 调用本地 Ollama 模型在默认情况下Ollama 会在本地运行 LLM 的同时为用户提供一套 RESTful API具体文档请参考本文最后的“参考资料”这让我们可以使用 Python 脚本来模拟 HTTP 客户端从而实现对 LLM 的自动化测试。其基本调用步骤如下启动 LLM在命令行终端中输入ollama run llama3.2:3b命令启动 LLM 的本地运行实例。创建 Python 脚本创建一个名为ollama_python.py的 Python 脚本并在其中输入以下代码import requestsurl http://localhost:11434/api/generatepayload {model: llama3.2:3b,prompt: 请用一句话解释什么是操作系统。,stream: False}response requests.post(url, jsonpayload)result response.json()print(result[response])运行 Python 脚本在命令行终端中输入python ollama_python.py命令运行 Python 脚本即可看到 LLM 的输出结果如图 5 所示。图 5使用 Python 调用 Ollama API在上述示例中我们首先定义了 Ollama API 的调用地址然后构造了一个包含模型名称、提示词以及是否以流式方式返回结果的请求体。最后我们通过 requests 库的 post 方法将请求发送给 Ollama API并打印出返回结果这个示例的意义并不在于输出内容本身而在于确认以下几点Ollama API 是否能够被稳定调用请求—响应链路是否完整返回结果是否符合预期的数据结构。在确认了 LLM 的调用链路是完整且稳定的前提下我们接下来就可以正式开始编写测试用例了。使用 PyTest 编写测试用例现在我们的任务是基于上面搭建的这个最小可用的测试环境结合 PyTest 自动化测试框架来编写一个用于观察 LLM 行为模式的测试用例具体步骤如下新建测试项目在计算机的任意位置上创建一个名为llm_tests的目录在这里我将它建在这篇笔记所在目录下的examples目录中并在其中创建下列 Python 脚本文件llm_tests├── conftest.py # PyTest 的公共配置文件├── test_ambiguous_prompt.py # 模糊指令下的“过度推断”行为测试├── test_basic_call.py # 基础调用测试├── test_latency.py # 响应延迟与阻塞行为测试└── test_nondeterminism.py # 非确定性输出与重复调用差异测试编写项目公共配置使用代码编辑器打开conftest.py文件并其中输入以下代码# llm_tests/conftest.py这个文件用于存放 PyTest 的公共配置例如 HTTP API 的调用地址和模型名称。import pytestimport requestsOLLAMA_URL http://localhost:11434/api/generateMODEL_NAME llama3.2:3bpytest.fixturedef ollama_client():def call_llm(prompt, streamFalse):response requests.post(OLLAMA_URL,json{model: MODEL_NAME,prompt: prompt,stream: stream,},timeout120,)response.raise_for_status()return response.json()return call_llm编写基础连通性测试使用代码编辑器打开test_basic_call.py文件并其中输入以下代码# llm_tests/test_basic_call.py这个测试用例用于验证 LLM 的基础连通性具体包括- LLM 是否能够被稳定调用- 请求—响应链路是否完整- 返回结果是否符合预期的数据结构。def test_llm_basic_response(ollama_client):result ollama_client(请用一句话解释什么是操作系统。)assert response in resultassert isinstance(result[response], str)assert len(result[response].strip()) 0编写响应延迟测试使用代码编辑器打开test_latency.py文件并其中输入以下代码# llm_tests/test_latency.py这个测试用例用于验证 LLM 的响应延迟与阻塞行为具体包括- LLM 的响应延迟是否在可接受范围内- LLM 是否会阻塞调用链路。import timedef test_llm_response_latency(ollama_client):start time.time()ollama_client(请简要说明 TCP 和 UDP 的区别。)elapsed time.time() - start# 不设过严阈值只验证“不是瞬时返回”assert elapsed 0.5请注意这里的测试仅用于观察同步调用的响应时延并不涉及并发或异步场景下的阻塞分析。编写非确定性输出测试使用代码编辑器打开test_nondeterminism.py文件并其中输入以下代码# llm_tests/test_nondeterminism.py这个测试用例用于验证 LLM 的非确定性输出具体包括- LLM 的输出是否具有非确定性- LLM 的输出是否具有重复性。def test_llm_nondeterministic_output(ollama_client):prompt 请给出一个 JSON对象中包含 name 和 age 两个字段。outputs set()for _ in range(3):result ollama_client(prompt)outputs.add(result[response].strip())# 允许偶然一致但通常不会完全相同assert len(outputs) 1请注意由于 Ollama 默认启用了缓存与固定推理参数在不显式调整 temperature / seed 的情况下输出可能表现为“弱非确定性”甚至表面确定性因此这里的测试重点并不在于断言差异存在而在于承认这种不确定性无法通过传统断言机制可靠捕获。编写模糊指令测试使用代码编辑器打开test_ambiguous_prompt.py文件并其中输入以下代码# llm_tests/test_ambiguous_prompt.py这个测试用例用于验证 LLM 在面对模糊指令时的行为具体包括- LLM 是否会主动进行推断与补全- LLM 是否会给出完整的叙述。def test_llm_over_inference_on_ambiguous_prompt(ollama_client):prompt 请判断这个方案是否合理。result ollama_client(prompt)response_text result[response]# 不判断“对错”只确认模型会生成完整叙述assert len(response_text) 50安装 PyTest 并运行测试在命令行终端中打开llm_tests目录并输入如图 6 所示的命令序列来安装 PyTest并运行测试图 6安装 PyTest 并运行测试