新手必看GLM-4V-9B环境配置与简单调用附完整代码示例1. 环境准备与快速部署1.1 硬件要求GPU显存至少24GBFP16精度或12GBINT4量化推荐配置NVIDIA RTX 4090或更高性能显卡多卡注意全量模型需要两张GPU卡并行运行1.2 软件依赖确保已安装以下基础环境pip install torch2.3.0 transformers4.40.0 modelscope1.3 一键部署命令通过ModelScope快速获取模型from modelscope import snapshot_download model_dir snapshot_download(ZhipuAI/glm-4v-9b)下载完成后会自动保存在本地缓存目录约18GB FP16版本2. 基础概念快速入门2.1 模型核心能力多模态理解同时处理图像和文本输入高分辨率支持原生1120×1120像素输入中英双语优化中文场景的OCR和图表理解2.2 典型应用场景图像内容描述视觉问答VQA图表数据解析多轮图文对话3. 分步实践操作3.1 初始化模型from transformers import AutoTokenizer, AutoModelForCausalLM import torch device cuda # 使用默认GPU设备 tokenizer AutoTokenizer.from_pretrained(model_dir, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_dir, device_mapauto, trust_remote_codeTrue, torch_dtypetorch.float16 ).eval()3.2 单轮图像问答示例准备测试图片demo.jpg执行from PIL import Image image Image.open(./demo.jpg).convert(RGB) response, history model.chat( tokenizer, imageimage, query图片中有什么内容, historyNone ) print(response)3.3 多轮对话示例# 第一轮提问 response, history model.chat( tokenizer, imageimage, query图片中有几个人, historyNone ) # 基于历史继续提问 response, history model.chat( tokenizer, query他们分别在做什么, historyhistory ) print(response)4. 实用技巧与常见问题4.1 显存优化方案使用INT4量化版本约9GB显存添加torch_dtypetorch.float16参数对于大图先resize到1120x1120以下4.2 常见错误处理CUDA内存不足# 尝试释放缓存 torch.cuda.empty_cache() # 或使用更低精度 model AutoModelForCausalLM.from_pretrained( model_dir, torch_dtypetorch.bfloat16 )图片加载失败# 确保图片路径正确且为RGB格式 from PIL import Image try: img Image.open(path).convert(RGB) except Exception as e: print(fError loading image: {e})5. 完整代码示例from modelscope import snapshot_download from transformers import AutoTokenizer, AutoModelForCausalLM from PIL import Image import torch # 1. 下载模型 model_dir snapshot_download(ZhipuAI/glm-4v-9b) # 2. 初始化 tokenizer AutoTokenizer.from_pretrained(model_dir, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_dir, device_mapauto, trust_remote_codeTrue, torch_dtypetorch.float16 ).eval() # 3. 准备图片 image Image.open(./demo.jpg).convert(RGB) # 4. 第一轮问答 query1 描述图片中的主要物体 response, history model.chat( tokenizer, imageimage, queryquery1, historyNone ) print(fQ: {query1}\nA: {response}\n) # 5. 基于上下文的追问 query2 这些物体的颜色是什么 response, history model.chat( tokenizer, queryquery2, historyhistory ) print(fQ: {query2}\nA: {response})6. 总结通过本教程您已经学会了GLM-4V-9B多模态模型的基本特性快速部署与环境配置方法图像问答和多轮对话的实现常见问题的解决方案建议下一步尝试测试不同分辨率图片的识别效果探索复杂图表解析能力结合LangChain构建多模态应用获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。