VMware虚拟机中部署AI模型Ubuntu系统安装与Qwen3-4B-Thinking配置指南1. 准备工作与环境搭建在开始之前我们需要准备好必要的软件和硬件资源。首先确保你的主机满足以下要求硬件配置建议至少16GB内存运行Qwen3-4B-Thinking需要8GB以上空闲内存50GB可用磁盘空间支持虚拟化的CPU软件准备下载最新版VMware Workstation Player免费版即可和Ubuntu 22.04 LTS镜像文件安装VMware Workstation Player的过程非常简单基本上就是下一步到底。这里有个小技巧安装完成后建议重启一次主机确保虚拟化功能完全启用。2. 创建Ubuntu虚拟机2.1 新建虚拟机向导打开VMware后点击创建新虚拟机选择自定义安装方式。关键配置步骤如下硬件兼容性选择最新版本的Workstation操作系统安装选择稍后安装操作系统客户机操作系统选择Linux → Ubuntu 64位虚拟机名称和位置建议使用Ubuntu_AI这类有意义的名称处理器配置至少2核4核更佳内存分配建议8GB起步运行大模型需要网络类型NAT模式最方便磁盘空间至少40GB选择将虚拟磁盘存储为单个文件2.2 安装Ubuntu系统挂载下载好的Ubuntu ISO镜像启动虚拟机。安装过程中有几个关键点需要注意分区方案新手建议选择清除整个磁盘并安装Ubuntu用户名设置记住你设置的密码后续sudo命令需要安装OpenSSH勾选此选项方便后续远程连接最小安装建议选择正常安装包含图形界面更友好安装完成后建议先执行系统更新sudo apt update sudo apt upgrade -y3. 配置AI开发环境3.1 安装基础工具首先安装一些必要的开发工具sudo apt install -y git curl wget build-essential python3-pip python3-venv3.2 配置CUDA环境Qwen3-4B-Thinking需要CUDA加速以下是配置步骤检查NVIDIA驱动是否安装nvidia-smi如果未安装先安装驱动sudo ubuntu-drivers autoinstall安装CUDA Toolkit以CUDA 12.1为例wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.deb sudo dpkg -i cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.deb sudo cp /var/cuda-repo-ubuntu2204-12-1-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo apt-get update sudo apt-get -y install cuda添加环境变量到~/.bashrcecho export PATH/usr/local/cuda/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc3.3 创建Python虚拟环境为避免依赖冲突建议为AI项目创建独立环境python3 -m venv ~/ai_env source ~/ai_env/bin/activate4. 部署Qwen3-4B-Thinking模型4.1 安装依赖库激活虚拟环境后安装必要的Python包pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers accelerate sentencepiece4.2 下载模型权重可以使用Hugging Face提供的模型git lfs install git clone https://huggingface.co/Qwen/Qwen3-4B-Thinking如果网络问题导致下载困难可以考虑先下载到主机再通过共享文件夹传输到虚拟机。4.3 运行推理测试创建一个简单的测试脚本test_qwen.pyfrom transformers import AutoModelForCausalLM, AutoTokenizer model_path Qwen3-4B-Thinking tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, trust_remote_codeTrue ).eval() response, history model.chat(tokenizer, 你好介绍一下你自己, history[]) print(response)运行脚本python test_qwen.py首次运行会需要一些时间加载模型。如果一切正常你应该能看到模型的自我介绍。5. 常见问题与优化建议在实际部署过程中可能会遇到以下典型问题内存不足如果模型无法加载尝试减小device_map的范围或者使用量化版本model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, trust_remote_codeTrue, torch_dtypetorch.float16 ).eval()磁盘空间不足模型文件大约需要8GB空间确保虚拟机有足够空间。可以在VMware设置中扩展磁盘但需要小心操作。性能优化对于持续使用建议安装flash-attention提升推理速度使用vLLM等优化推理框架考虑模型量化减小内存占用网络问题如果从Hugging Face下载困难可以使用国内镜像源先在主机下载再通过共享文件夹传输使用wget断点续传功能6. 总结与下一步通过本教程我们完成了从零开始在VMware虚拟机中搭建Ubuntu系统并成功部署Qwen3-4B-Thinking模型的全过程。整体来看VMware提供了很好的隔离环境特别适合需要同时进行多种开发任务的场景。Ubuntu 22.04作为稳定的Linux发行版配合CUDA环境能够很好地支持AI模型的运行。实际体验下来Qwen3-4B-Thinking在4B参数规模下表现出色响应速度在消费级GPU上也能接受。如果你刚开始接触大模型本地部署这套方案是个不错的起点。后续可以尝试更复杂的应用场景比如构建RAG系统或者微调模型。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。