课前知识服务器租用本次部署大模型笔记本的性能可能是不够的去租用服务器https://www.autodl.com/home // https://gpushare.com/store要求liunxGPU12G五块钱就够用了链接使用服务器VS code安装连接插件安装后出现这个新建连接拿去ssh令牌粘贴后回车选择第一个拿去并设置密码这就是链接好了打开文件夹选择root链接数据盘位置把数据都放在数据盘服务器安装显卡状态显示pip install nvitop随时显示显卡的状态信息一、Ollama轻量级本地化部署框架定位专为本地设备设计的开源框架支持 macOS/Linux/Windows需 WSL无需云端资源即可运行百亿级模型。核心优势详解动态内存管理分片加载机制将大模型拆分为多个分片Shards仅在推理时按需加载到显存。例如 70B 模型原生需 140GB 显存Ollama 通过分片可降至 40GB适配消费级显卡如 RTX4090智能卸载闲置模型层自动转移至系统内存或磁盘缓解显存压力。量化压缩支持***原生支持 GGUF 格式的 4-bit/5-bit 量化如 Q4_K_M70B 模型体积从 140GB 压缩至~40GB精度损失低于 2% 。****支持多级量化策略Q2_K最小体积 Q6_K最高精度用户可依硬件性能选择。跨平台硬件加速后端支持 CUDANVIDIA GPU、MetalApple M 系列、VulkanAMD/Intel GPU及纯 CPU 推理同一模型无需修改即可跨设备运行14。集成 OpenBLAS/cuBLAS 加速库优化矩阵运算效率。支持多模型切换Ollama中多模型切换主要通过ollama run 模型名命令指定不同模型配合ollama list查看可用模型还可使用ollama cp创建别名实现灵活切换。隐私与易用性数据完全本地处理符合 GDPR 隐私规范适合医疗、金融等敏感场景。类 OpenAI API 设计支持 /v1/chat/completions 等端点无缝对接 LangChain、LlamaIndex 等生态。详细部署流程1. 安装与环境配置安装pip install modelscopeollama比较干净modelscope download --modelmodelscope/ollama-linux --local_dir ./ollama-linux --revision v0.17.5安装解压工具apt update apt install -y zstd进入ollama文件夹#授权 sudo chmod 777 ./ollama-modelscope-install.sh #安装 ./ollama-modelscope-install.sh端口11434使用ollamaollama serve这个窗口开了之后就不要关闭新建窗口查看ollama的模型ollama list去ollama的官网获取模型ollama run qwen3:0.6b2.下载qwen0.6bhugging face格式去到数据盘新建download.pyfrom modelscope import snapshot_download model_dir snapshot_download(Qwen/Qwen3-0.6B,cache_dir/hy-tmp/llm)执行下载命令python download.py3.test01.py // 代码api访问代码api访问pip install openai新建。test01.py#使用openai的API风格调用本地模型 from openai import OpenAI client OpenAI(base_urlhttp://localhost:11434/v1/,api_keysuibianxie) chat_completion client.chat.completions.create( messages[{role:user,content:你好请介绍下你自己。}],modelqwen3:0.6b ) print(chat_completion.choices[0])执行4. 模型加载与交互下载并运行模型如DeepSeek-R1 ollama run deepseek-r1:1.5b #命令行对话示例 解释量子纠缠现象 /bye # 退出会话5. API 服务化部署# 启动服务默认端口 11434 export OLLAMA_HOST0.0.0.0:11434 # 开放远程访问 ollama serve # 远程调用示例JSON 格式 curl http://192.168.1.100:11434/api/generate -d {model: deepseek-r1, prompt: 写一首关于春天的诗, stream: false}二、vLLM高性能分布式推理框架企业级定位加州伯克利分校研发的推理引擎通过 PagedAttention 算法优化 KV 缓存吞吐量较HuggingFace 提升 24 倍适合高并发生产环境。1、核心技术解析PagedAttention 机制将注意力计算的键值对KV Cache分页存储类似操作系统虚拟内存管理减少内存碎片显存利用率提升 3 倍以上。支持 动态批处理Dynamic Batching自动合并请求提升 GPU 利用率8。多硬件与量化支持适配 CUDA 12.4 支持 FP8/BF16 量化及张量并行Tensor Parallelism单卡可运行 7B模型多卡扩展至 200B, 。兼容 HuggingFace 模型库无需转换格式直接加载5。2、环境要求2070以上3、test02.py安装环境pip install accelerate#使用transformer加载qwen模型 from transformers import AutoModelForCausalLM,AutoTokenizer DEVICE cuda #加载本地模型路径为该模型配置文件所在的根目录 model_dir /hy-tmp/llm/Qwen/Qwen3-0.6B #使用transformer加载模型 model AutoModelForCausalLM.from_pretrained(model_dir,torch_dtypeauto,device_mapauto) tokenizer AutoTokenizer.from_pretrained(model_dir) #调用模型 #定义提示词 prompt 你好请介绍下你自己。 #将提示词封装为message message [{role:system,content:You are a helpful assistant system},{role:user,content:prompt}] #使用分词器的apply_chat_template()方法将上面定义的消息列表进行转换;tokenizeFalse表示此时不进行令牌化 text tokenizer.apply_chat_template(message,tokenizeFalse,add_generation_promptTrue) #将处理后的文本令牌化并转换为模型的输入张量 model_inputs tokenizer([text],return_tensorspt).to(DEVICE) #将数据输入模型得到输出 response model.generate(model_inputs.input_ids,max_new_tokens512) print(response) #对输出的内容进行解码还原 response tokenizer.batch_decode(response,skip_special_tokensTrue) print(response)4、详细部署流程1. 环境依赖安装创建虚拟环境 conda create -n vllm python3.10 conda activate vllm # 安装 PyTorch 与 vLLM需 CUDA 12.4 pip install torch2.5.1 torchvision0.20.1 --indexurl https://download.pytorch.org/whl/cu124 #可以直接跳过前两部直接执行这一步让vllm自寻找 pip install vllm0.8.5环境必须隔离不然有服务器奔溃的隐患5. 模型加载与离线推理单次启动不推荐from vllm import LLM, SamplingParams # 初始化模型以 DeepSeek-R1-Distill-Qwen-7B 为例 llm LLM(modeldeepseek-ai/DeepSeek-R1-Distill-Qwen-7B, trust_remote_codeTrue, max_model_len4096) # 批量推理 prompts [量子计算的优势是什么?, 如何训练 GPT 模型?] outputs llm.create(prompts, SamplingParams(temperature0.8, top_p0.95, max_tokens100))6. 启动 OpenAI 兼容 API 服务单卡启动DeepSeek-R1-Distill-Qwen-7B vllm serve --model /hy-tmp/llm/Qwen/Qwen3-0.6B --port 8000 # 多卡张量并行DeepSeek-R1-Distill-Qwen-32B4 卡 vllm serve --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --port 8000 --tensor-parallel-size 4单卡启动后执行test01很快三、LMDeploy生产级量化与国产硬件适配国内生成的企业级性能更好比VLLM快1.8倍定位由 InternLM 团队推出的端到端推理框架专注模型压缩与异构硬件部署支持昇腾AscendNPU显存优化达 90% 。关键技术特性1. 量化策略组合量化类型原理显存优化KV8上下文KV缓存INT8量化7B模型显存占用↓36%W4A16权重INT4量化FP16计算7B模型显存降至2.7GB2. 昇腾 NPU 适配通过 DLInfer 引擎支持华为昇腾芯片需在启智平台配置 CANN 8.0 环境。提供昇腾专用镜像 openmind_cann8 预装 MindSpore 框架。详细部署流程创建conda# 1. 设置 conda 环境目录为 /hy-tmp/conda_envs conda config --append envs_dirs /hy-tmp/conda_envs # 2. 查看当前 conda 环境目录配置 conda config --show envs_dirs # 3. 现在创建名为 lmdeploy 的环境 conda create -n lmdeploy python3.10 -y # 4. 激活环境 conda activate lmdeploy # 5. 验证环境位置 conda info --envs#安装自适配环境 pip install lmdeploy也有环境要求2070以上1. 环境配置与安装安装 LMDeployx86 环境 pip install lmdeploy[a11] 0.5.3 # 异腾环境需额外安装 DLInfer pip install dlinfer-ascend2. 模型量化实战W4A16 量化以 InternLM2-5-7B 为例 lmdeploy lite auto_awq internlm2_5-7b-chat --w-bits 4 --work-dir ./model_4bit # 启动量化模型对话 lmdeploy chat ./model_4bit --model-format awq3. API 服务部署# 启动API服务含量化 lmdeploy serve api_server /hy-tmp/llm/Qwen/Qwen3-0.6B --server-port 23333 --quant-policy 4 # 客户端调用Python from openai import OpenAI client OpenAI(base_urlhttp://localhost:23333/v1, api_keyYOUR_KEY) response client.chat.completions.create(modeldefault, messages {{role:user, content:解释强化学习原理}])四、ModelScope一站式中文模型平台定位阿里达摩院开源的模型即服务MaaS平台集成 300 中文优化模型覆盖 NLP/CV/多模态任务。核心功能详解1. 模型生态覆盖 InternVL2-26B多模态、Qwen、DeepSeek 等国产 SOTA 模型支持免费下载与微调。提供行业数据集如阿里电商数据预训练模型免环境配置在线运行。2. 高效推理 APIfrom modelscope.pipelines import pipeline#大语言模型调用text_gen pipeline(text-generationmodel ≡ deepseek-ai/DeepSeek-R1) print(text_gen(人工智能的未来趋势))部署方案对比与选型建议框架最佳场景性能优势资源要求安全与扩展性Ollama本地开发/隐私敏感场景极简启动、数据不离境CPU/低配GPU可用需反向代理加固认证vLLM高并发在线服务多机多卡PagedAttention 吞吐量提升 24 倍多 GPU 推荐原生支持动态批处理LMDeploy性能好边缘设备/国产硬件W4A16 量化显存占用降 90%昇腾 NPU 或低端 GPU支持服务降级与熔断ModelScope快速原型验证中文模型丰富、一行代码推理云/本地灵活部署阿里云生态集成场景化选型指南个人开发者首选 Ollama本地隐私或 ModelScope快速验证企业 API 服务vLLM高并发或 LMDeploy资源受限场景国产信创环境LMDeploy 昇腾 NPU兼容性最佳各框架官方资源:Ollama 模型库https://ollama.com/libraryvLLM 文档https://vllm.hyper.ai/LMDeploy昇腾指南https://lmdeploy.readthedocs.io/zh-cn/latest/get_started/ascend/ModelScope 官网https://modelscope.cn/my/overview