在WSL中部署和调试Qwen3.5-4B模型服务1. 为什么选择WSL部署AI模型对于习惯Windows系统但又需要Linux环境的开发者来说WSL提供了一个两全其美的解决方案。特别是当你需要在本地测试像Qwen3.5-4B这样的大语言模型时WSL能让你在熟悉的Windows界面下享受Linux的开发体验。用WSL部署模型有几个明显优势首先你不用折腾双系统或虚拟机节省了大量配置时间其次可以直接在Windows下使用你喜欢的IDE比如VS Code来编写和调试代码最重要的是WSL2的性能已经足够运行中小规模的模型推理。2. 准备工作与环境配置2.1 安装和设置WSL如果你还没有安装WSL打开PowerShell管理员权限运行以下命令wsl --install这个命令会自动安装WSL2和默认的Ubuntu发行版。安装完成后你需要设置一个Linux用户名和密码。建议选择Ubuntu 20.04或更高版本因为这些版本对CUDA支持更好。2.2 配置GPU支持可选如果你有NVIDIA显卡并想用GPU加速推理需要额外几步在Windows上安装最新的NVIDIA驱动在WSL中安装CUDA工具包wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/3bf863cc.pub sudo add-apt-repository deb https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/ / sudo apt-get update sudo apt-get -y install cuda安装完成后运行nvidia-smi检查GPU是否被识别。3. 部署Qwen3.5-4B模型服务3.1 创建Python虚拟环境为了避免包冲突我们先创建一个干净的Python环境sudo apt update sudo apt install python3-pip python3-venv python3 -m venv qwen-env source qwen-env/bin/activate3.2 安装依赖库激活虚拟环境后安装必要的Python包pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers accelerate sentencepiece如果你没有GPU或不想用CUDA可以安装CPU版本的PyTorchpip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu3.3 下载和加载模型Qwen3.5-4B模型可以通过Hugging Face获取。我们先安装git-lfs来下载大文件sudo apt install git-lfs git lfs install git clone https://huggingface.co/Qwen/Qwen1.5-4B下载完成后创建一个简单的Python脚本来测试模型是否能正常运行from transformers import AutoModelForCausalLM, AutoTokenizer model_path Qwen1.5-4B tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path, device_mapauto) inputs tokenizer(你好Qwen, return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokens50) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))4. 创建模型API服务为了让Windows应用能方便地调用模型我们创建一个简单的FastAPI服务4.1 安装FastAPI和uvicornpip install fastapi uvicorn4.2 创建API服务脚本新建一个api.py文件内容如下from fastapi import FastAPI from pydantic import BaseModel from transformers import AutoModelForCausalLM, AutoTokenizer import torch app FastAPI() model_path Qwen1.5-4B tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path, device_mapauto) class Request(BaseModel): prompt: str max_tokens: int 50 app.post(/generate) def generate_text(request: Request): inputs tokenizer(request.prompt, return_tensorspt).to(cuda) outputs model.generate( **inputs, max_new_tokensrequest.max_tokens ) return { response: tokenizer.decode(outputs[0], skip_special_tokensTrue) }4.3 启动服务在WSL终端运行uvicorn api:app --host 0.0.0.0 --port 8000现在你可以在Windows浏览器中访问http://localhost:8000/docs来测试API了。5. 从Windows连接和调试服务5.1 使用VS Code远程开发在Windows上安装VS Code和Remote - WSL扩展在WSL终端中进入项目目录运行code .VS Code会自动在WSL环境中打开项目你可以像平常一样编辑和调试代码5.2 端口转发和网络访问WSL2会自动设置端口转发所以你可以在Windows中直接访问localhost:8000来调用API。如果你想从局域网其他设备访问需要在Windows防火墙中允许该端口。5.3 常见问题解决如果遇到端口无法访问的问题尝试检查WSL的IP地址在WSL中运行ip addr查找eth0的inet地址在Windows中尝试用这个IP地址代替localhost确保没有其他程序占用了8000端口6. 总结通过WSL部署Qwen3.5-4B模型服务我们实现了在Windows环境下进行Linux开发的理想工作流。整个过程下来最明显的感受是部署确实比预想的要简单特别是WSL2的网络和文件系统集成做得很好让跨平台开发变得无缝衔接。对于刚开始接触大模型本地部署的开发者建议先从CPU版本开始尝试熟悉流程后再考虑GPU加速。另外记得定期检查Hugging Face上的模型更新Qwen团队会不时发布改进版本。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。