从零开始Gemma-3-12B-IT WebUI在A10/A100/V100上的部署实践1. 项目简介为什么选择Gemma-3-12B-IT如果你正在寻找一个性能强劲、部署友好又不需要天价硬件支持的大语言模型那么Gemma-3-12B-IT可能就是你的理想选择。简单来说这是Google最新推出的第三代Gemma模型专门针对人类指令对话进行了优化。相比前两代它在逻辑推理、多语言理解和生成效率上都有显著提升。120亿的参数规模让它既保持了不错的智能水平又不会像动辄几百亿参数的大模型那样吃掉你所有的显存。这个WebUI项目就是为这个模型量身打造的一个图形化聊天界面。你不用再面对冰冷的命令行打开浏览器就能像和朋友聊天一样让它帮你写代码、回答问题、创作内容。2. 环境准备与快速部署在开始之前我们先确认一下你的装备是否齐全。好消息是这个项目对硬件的要求相当友好。2.1 硬件与系统要求为了让部署过程更顺畅请先检查你的环境最低配置能跑起来但可能慢GPU: NVIDIA GPU显存 16GB 以上如RTX 4080, RTX 4090内存: 32GB 系统内存存储: 至少 50GB 可用空间模型文件约23GB推荐配置流畅体验GPU: NVIDIA A10 (24GB), A100 (40/80GB), V100 (32GB) 或同级别计算卡内存: 64GB 或更高存储: NVMe SSD100GB以上可用空间已验证兼容的GPU型号NVIDIA A10 (24GB显存) - 性价比之选完全够用NVIDIA A100 (40/80GB) - 性能强劲游刃有余NVIDIA V100 (32GB) - 经典计算卡稳定可靠消费级显卡RTX 4090 (24GB), RTX 3090 (24GB) 也可流畅运行系统要求Ubuntu 20.04/22.04 LTS 或 CentOS 7/8Python 3.11CUDA 11.8 或更高版本驱动版本 5202.2 一键部署脚本准备好了吗我们开始动手。下面的脚本会帮你完成大部分繁琐的配置工作。#!/bin/bash # 保存为 deploy_gemma.sh然后执行bash deploy_gemma.sh echo 开始部署 Gemma-3-12B-IT WebUI... echo # 1. 创建项目目录 PROJECT_DIR/root/gemma-3-webui MODEL_DIR/root/ai-models/LLM-Research/gemma-3-12b-it echo 步骤1: 创建目录结构... mkdir -p $PROJECT_DIR mkdir -p $MODEL_DIR mkdir -p $PROJECT_DIR/logs # 2. 检查CUDA和驱动 echo 步骤2: 检查CUDA环境... if ! command -v nvidia-smi /dev/null; then echo 错误: 未检测到NVIDIA驱动请先安装驱动和CUDA exit 1 fi echo CUDA版本信息: nvcc --version 2/dev/null || echo nvcc未找到但驱动已安装 # 3. 检查Python环境 echo 步骤3: 检查Python环境... if ! command -v python3.11 /dev/null; then echo Python 3.11未安装正在安装... # Ubuntu/Debian if [ -f /etc/debian_version ]; then apt update apt install -y python3.11 python3.11-venv python3.11-dev # CentOS/RHEL elif [ -f /etc/redhat-release ]; then yum install -y python3.11 python3.11-devel fi fi # 4. 创建Python虚拟环境 echo 步骤4: 创建Python虚拟环境... cd $PROJECT_DIR python3.11 -m venv venv source venv/bin/activate # 5. 安装PyTorch根据CUDA版本选择 echo 步骤5: 安装PyTorch和相关依赖... CUDA_VERSION$(nvcc --version | grep release | awk {print $6} | cut -c2-) echo 检测到CUDA版本: $CUDA_VERSION if [[ $CUDA_VERSION 11.8 ]]; then pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 elif [[ $CUDA_VERSION 12.1 ]]; then pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 else echo 使用默认CUDA 11.8版本安装 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 fi # 6. 安装WebUI依赖 echo 步骤6: 安装WebUI依赖包... pip install gradio4.19.0 pip install transformers4.36.0 pip install accelerate0.25.0 pip install sentencepiece pip install protobuf pip install scipy pip install requests # 7. 下载模型文件如果尚未下载 echo 步骤7: 检查并下载模型文件... if [ ! -f $MODEL_DIR/config.json ]; then echo 模型文件不存在请手动下载Gemma-3-12B-IT模型 echo 下载地址需要从Hugging Face获取授权 echo 请访问: https://huggingface.co/google/gemma-3-12b-it echo 下载后放置到: $MODEL_DIR read -p 按回车继续如果你已经下载了模型文件... fi # 8. 创建配置文件 echo 步骤8: 创建配置文件... cat $PROJECT_DIR/config.yaml EOF model: path: $MODEL_DIR name: gemma-3-12b-it dtype: bfloat16 # A10/A100/V100都支持bfloat16节省显存 server: host: 0.0.0.0 port: 7860 share: false generation: max_new_tokens: 512 temperature: 0.7 top_p: 0.9 repetition_penalty: 1.1 gpu: device: cuda:0 memory_fraction: 0.9 # 使用90%显存留一些给系统 EOF # 9. 创建WebUI应用文件 echo 步骤9: 创建WebUI应用... cat $PROJECT_DIR/app.py EOF import gradio as gr import torch from transformers import AutoTokenizer, AutoModelForCausalLM import yaml import os # 加载配置 with open(config.yaml, r) as f: config yaml.safe_load(f) # 初始化模型和分词器 print(正在加载模型这可能需要几分钟...) tokenizer AutoTokenizer.from_pretrained(config[model][path]) model AutoModelForCausalLM.from_pretrained( config[model][path], torch_dtypetorch.bfloat16, device_mapauto ) model.eval() print(模型加载完成) def generate_response(message, history, temperature, top_p, max_tokens): 生成回复 # 构建对话历史 prompt if history: for user_msg, assistant_msg in history: prompt fstart_of_turnuser\n{user_msg}end_of_turn\n prompt fstart_of_turnmodel\n{assistant_msg}end_of_turn\n prompt fstart_of_turnuser\n{message}end_of_turn\nstart_of_turnmodel\n # 编码输入 inputs tokenizer(prompt, return_tensorspt).to(model.device) # 生成参数 generate_kwargs { max_new_tokens: max_tokens, temperature: temperature, top_p: top_p, do_sample: True, repetition_penalty: config[generation][repetition_penalty], } # 生成回复 with torch.no_grad(): outputs model.generate(**inputs, **generate_kwargs) # 解码输出 response tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) return response # 创建Gradio界面 with gr.Blocks(titleGemma-3-12B-IT 聊天助手, themegr.themes.Soft()) as demo: gr.Markdown(# Gemma-3-12B-IT 聊天助手) gr.Markdown(Google最新一代开源大语言模型支持多轮对话、代码生成、知识问答等功能) # 聊天界面 chatbot gr.Chatbot(height500, label对话历史) with gr.Row(): msg gr.Textbox( label输入消息, placeholder在这里输入你的问题..., scale4 ) submit_btn gr.Button(发送, variantprimary, scale1) # 参数调节 with gr.Accordion(高级参数, openFalse): with gr.Row(): temperature gr.Slider( minimum0.1, maximum1.5, value0.7, step0.1, labelTemperature (随机性), info值越高回答越有创意值越低回答越严谨 ) top_p gr.Slider( minimum0.1, maximum1.0, value0.9, step0.05, labelTop-p (核采样), info控制词汇选择范围 ) max_tokens gr.Slider( minimum64, maximum2048, value512, step64, label最大生成长度, info限制回答的最大长度 ) # 系统信息 with gr.Accordion(系统信息, openFalse): gr.Markdown(f - **模型**: {config[model][name]} - **设备**: {model.device} - **显存占用**: {torch.cuda.memory_allocated() / 1024**3:.2f} GB - **可用显存**: {torch.cuda.memory_reserved() / 1024**3:.2f} GB ) # 绑定事件 def respond(message, chat_history, temp, top_p_val, max_tokens_val): bot_message generate_response(message, chat_history, temp, top_p_val, max_tokens_val) chat_history.append((message, bot_message)) return , chat_history msg.submit(respond, [msg, chatbot, temperature, top_p, max_tokens], [msg, chatbot]) submit_btn.click(respond, [msg, chatbot, temperature, top_p, max_tokens], [msg, chatbot]) # 清除按钮 clear_btn gr.Button(清除对话) def clear_chat(): return [] clear_btn.click(clear_chat, None, chatbot) if __name__ __main__: demo.launch( server_nameconfig[server][host], server_portconfig[server][port], shareconfig[server][share] ) EOF # 10. 创建管理脚本 echo 步骤10: 创建管理脚本... cat $PROJECT_DIR/manage.sh EOF #!/bin/bash PROJECT_DIR/root/gemma-3-webui VENV_PATH$PROJECT_DIR/venv LOG_DIR$PROJECT_DIR/logs PID_FILE$PROJECT_DIR/gemma_webui.pid # 颜色定义 RED\033[0;31m GREEN\033[0;32m YELLOW\033[1;33m NC\033[0m # No Color print_status() { echo -e ${GREEN}[INFO]${NC} $1 } print_error() { echo -e ${RED}[ERROR]${NC} $1 } print_warning() { echo -e ${YELLOW}[WARN]${NC} $1 } check_venv() { if [ ! -f $VENV_PATH/bin/activate ]; then print_error 虚拟环境不存在请先运行部署脚本 exit 1 fi } start_service() { check_venv if [ -f $PID_FILE ] ps -p $(cat $PID_FILE) /dev/null 21; then print_warning 服务已经在运行 (PID: $(cat $PID_FILE)) return fi print_status 启动 Gemma-3 WebUI 服务... source $VENV_PATH/bin/activate cd $PROJECT_DIR nohup python app.py $LOG_DIR/access.log 21 echo $! $PID_FILE sleep 3 if ps -p $! /dev/null 21; then print_status 服务启动成功PID: $! print_status WebUI地址: http://$(hostname -I | awk {print $1}):7860 else print_error 服务启动失败请检查日志: $LOG_DIR/access.log rm -f $PID_FILE fi } stop_service() { if [ ! -f $PID_FILE ]; then print_warning 服务未运行 return fi PID$(cat $PID_FILE) if ps -p $PID /dev/null 21; then print_status 停止服务 (PID: $PID)... kill $PID sleep 2 if ps -p $PID /dev/null 21; then print_warning 服务未正常停止强制终止... kill -9 $PID fi rm -f $PID_FILE print_status 服务已停止 else print_warning 服务未运行 rm -f $PID_FILE fi } restart_service() { stop_service sleep 2 start_service } status_service() { if [ -f $PID_FILE ] ps -p $(cat $PID_FILE) /dev/null 21; then PID$(cat $PID_FILE) print_status 服务正在运行 (PID: $PID) print_status WebUI地址: http://$(hostname -I | awk {print $1}):7860 # 检查端口 if netstat -tlnp 2/dev/null | grep :7860 | grep -q $PID; then print_status 端口 7860 监听正常 else print_warning 端口 7860 未监听 fi # 检查GPU内存 if command -v nvidia-smi /dev/null; then GPU_MEM$(nvidia-smi --query-gpumemory.used --formatcsv,noheader,nounits | head -1) print_status GPU显存使用: ${GPU_MEM} MB fi else print_warning 服务未运行 fi } show_logs() { if [ -f $LOG_DIR/access.log ]; then tail -f $LOG_DIR/access.log else print_error 日志文件不存在 fi } case $1 in start) start_service ;; stop) stop_service ;; restart) restart_service ;; status) status_service ;; logs) show_logs ;; *) echo 使用方法: $0 {start|stop|restart|status|logs} echo echo 命令说明: echo start 启动Gemma-3 WebUI服务 echo stop 停止服务 echo restart 重启服务 echo status 查看服务状态 echo logs 查看实时日志 exit 1 ;; esac EOF chmod x $PROJECT_DIR/manage.sh # 11. 创建Supervisord配置可选用于生产环境 echo 步骤11: 创建Supervisord配置... cat /etc/supervisor/conf.d/gemma-webui.conf EOF [program:gemma-webui] command/root/gemma-3-webui/venv/bin/python /root/gemma-3-webui/app.py directory/root/gemma-3-webui userroot autostarttrue autorestarttrue startsecs10 stopwaitsecs30 stdout_logfile/root/gemma-3-webui/logs/stdout.log stderr_logfile/root/gemma-3-webui/logs/stderr.log environmentPATH/root/gemma-3-webui/venv/bin:%(ENV_PATH)s EOF echo echo 部署完成 echo echo 下一步操作 echo 1. 确保模型文件已下载到: $MODEL_DIR echo 2. 启动服务: cd $PROJECT_DIR ./manage.sh start echo 3. 访问WebUI: http://你的服务器IP:7860 echo echo 常用管理命令 echo ./manage.sh start # 启动服务 echo ./manage.sh stop # 停止服务 echo ./manage.sh restart # 重启服务 echo ./manage.sh status # 查看状态 echo ./manage.sh logs # 查看日志 echo 把这个脚本保存为deploy_gemma.sh然后给它执行权限chmod x deploy_gemma.sh运行部署脚本./deploy_gemma.sh脚本会一步步引导你完成所有配置。如果中途遇到问题脚本会给出明确的错误提示。3. 针对不同GPU的优化配置不同的GPU有不同的特性下面我针对A10、A100、V100这三种常见的计算卡给出具体的优化建议。3.1 NVIDIA A10 (24GB显存) 配置优化A10是性价比很高的选择24GB显存刚好能流畅运行Gemma-3-12B-IT。优化配置建议# 在 config.yaml 中添加或修改以下配置 gpu: device: cuda:0 memory_fraction: 0.85 # 使用85%显存留一些给系统 max_memory: 0: 20GB # 限制最大使用20GB generation: max_new_tokens: 1024 # A10可以支持更长的生成 temperature: 0.7 top_p: 0.9 repetition_penalty: 1.1 # 启用量化可选进一步节省显存 quantization: enabled: true bits: 8 # 8位量化几乎不影响质量A10专用启动脚本#!/bin/bash # a10_optimized.sh - A10显卡优化启动脚本 # 设置GPU内存优化参数 export PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128 export CUDA_LAUNCH_BLOCKING1 # 启用TF32加速A10支持 export NVIDIA_TF32_OVERRIDE1 # 启动服务 cd /root/gemma-3-webui source venv/bin/activate python app.py3.2 NVIDIA A100 (40/80GB显存) 配置优化A100性能强劲可以开启更多优化选项。优化配置建议gpu: device: cuda:0 memory_fraction: 0.95 # A100显存大可以用更多 max_memory: 0: 38GB # 40GB版本留2GB给系统 generation: max_new_tokens: 2048 # 支持更长的上下文 temperature: 0.7 top_p: 0.9 repetition_penalty: 1.1 # A100支持BF16速度更快 model: dtype: bfloat16 # A100原生支持BF16 # 启用Flash Attention大幅提升速度 optimization: use_flash_attention: true use_sdp_attention: trueA100专用启动脚本#!/bin/bash # a100_optimized.sh - A100显卡优化启动脚本 # 启用BF16和TF32 export TORCH_CUDNN_V8_API_ENABLED1 export NVIDIA_TF32_OVERRIDE1 # 内存优化 export PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:256 # 启用CUDA GraphA100特性 export CUDA_GRAPH_ENABLED1 # 启动服务 cd /root/gemma-3-webui source venv/bin/activate python app.py3.3 NVIDIA V100 (32GB显存) 配置优化V100是经典的计算卡虽然架构稍老但32GB显存完全够用。优化配置建议gpu: device: cuda:0 memory_fraction: 0.9 # V100建议保守一些 max_memory: 0: 28GB # 32GB版本留4GB给系统 generation: max_new_tokens: 1024 temperature: 0.7 top_p: 0.9 repetition_penalty: 1.1 # V100对FP16支持更好 model: dtype: float16 # V100用FP16 # 禁用一些V100不支持的优化 optimization: use_flash_attention: false # V100不支持Flash AttentionV100专用启动脚本#!/bin/bash # v100_optimized.sh - V100显卡优化启动脚本 # V100专用优化 export CUDA_AUTO_BOOST0 # 禁用自动超频更稳定 export CUDA_CACHE_DISABLE0 # 启用缓存 # 内存优化 export PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:64 # 启动服务 cd /root/gemma-3-webui source venv/bin/activate python app.py3.4 通用性能监控脚本部署完成后你可以用这个脚本监控GPU使用情况#!/bin/bash # monitor_gemma.sh - 监控Gemma运行状态 while true; do clear echo Gemma-3-12B-IT 运行监控 echo 时间: $(date) echo # 检查服务进程 if [ -f /root/gemma-3-webui/gemma_webui.pid ]; then PID$(cat /root/gemma-3-webui/gemma_webui.pid) if ps -p $PID /dev/null 21; then echo 服务状态: 运行中 (PID: $PID) # 检查端口 if netstat -tlnp 2/dev/null | grep :7860 | grep -q $PID; then echo WebUI端口: 7860 监听正常 else echo WebUI端口: 未监听 fi else echo 服务状态: 未运行 fi else echo 服务状态: 未运行 fi echo echo GPU 使用情况 nvidia-smi --query-gpuname,temperature.gpu,utilization.gpu,utilization.memory,memory.used,memory.total --formatcsv echo echo 系统资源 echo CPU使用率: $(top -bn1 | grep Cpu(s) | awk {print $2})% echo 内存使用: $(free -h | grep Mem | awk {print $3/$2}) echo 磁盘使用: $(df -h / | tail -1 | awk {print $3/$2}) echo echo 最近日志 tail -5 /root/gemma-3-webui/logs/access.log 2/dev/null || echo 暂无日志 echo echo 按 CtrlC 退出监控 sleep 5 done4. 快速上手你的第一个对话服务启动后打开浏览器访问http://你的服务器IP:7860你会看到一个简洁的聊天界面。4.1 基础对话示例让我们从简单的开始你你好介绍一下你自己 助手你好我是Gemma-3-12B-IT一个由Google开发的开源大语言模型。我有120亿参数专门针对指令对话进行了优化。我可以帮你回答问题、生成代码、写作、翻译等等。有什么我可以帮你的吗4.2 代码生成实战试试让它写代码你写一个Python函数计算两个矩阵的乘积 助手 def matrix_multiply(A, B): 计算两个矩阵的乘积 参数: A (list of list): 第一个矩阵 B (list of list): 第二个矩阵 返回: list of list: 乘积矩阵 # 检查矩阵维度是否匹配 if len(A[0]) ! len(B): raise ValueError(矩阵A的列数必须等于矩阵B的行数) # 初始化结果矩阵 result [[0 for _ in range(len(B[0]))] for _ in range(len(A))] # 计算乘积 for i in range(len(A)): for j in range(len(B[0])): for k in range(len(B)): result[i][j] A[i][k] * B[k][j] return result # 使用示例 A [[1, 2], [3, 4]] B [[5, 6], [7, 8]] print(matrix_multiply(A, B)) # 输出: [[19, 22], [43, 50]]4.3 参数调节技巧界面右侧有三个重要的滑动条Temperature随机性0.1-0.3非常确定性的回答适合代码生成、事实问答0.7-0.9平衡的创造性适合一般对话1.0-1.5高度创造性适合写故事、诗歌Top-p核采样0.8-0.95推荐范围平衡多样性和质量值越小回答越保守值越大回答越多样Max Tokens最大长度256-512适合简短回答1024-2048适合长文生成、代码编写实用组合写代码Temperature0.3, Top-p0.9, Max Tokens1024创意写作Temperature1.2, Top-p0.95, Max Tokens2048知识问答Temperature0.7, Top-p0.9, Max Tokens5125. 常见问题与解决方案5.1 部署常见问题Q: 启动时提示CUDA out of memory怎么办这是最常见的问题显存不够了。试试这些方法# 方法1减少batch size在config.yaml中修改 generation: max_new_tokens: 256 # 减少生成长度 batch_size: 1 # 设置为1 # 方法2启用8位量化大幅节省显存 # 修改app.py中的模型加载代码 model AutoModelForCausalLM.from_pretrained( config[model][path], torch_dtypetorch.float16, device_mapauto, load_in_8bitTrue # 添加这行 ) # 方法3使用CPU卸载显存严重不足时 model AutoModelForCausalLM.from_pretrained( config[model][path], torch_dtypetorch.float16, device_mapauto, offload_folderoffload, # 临时文件目录 offload_state_dictTrue # 启用CPU卸载 )Q: 访问WebUI时连接超时检查这几个地方# 1. 检查服务是否运行 ./manage.sh status # 2. 检查端口是否监听 netstat -tlnp | grep 7860 # 3. 检查防火墙 # Ubuntu ufw status # 如果需要开放端口 ufw allow 7860 # CentOS firewall-cmd --list-ports # 如果需要开放端口 firewall-cmd --add-port7860/tcp --permanent firewall-cmd --reload # 4. 检查绑定地址 # 在config.yaml中确保是 server: host: 0.0.0.0 # 允许所有IP访问 port: 7860Q: 模型加载特别慢怎么办第一次加载确实需要时间可以这样优化# 1. 使用更快的存储NVMe SSD # 2. 启用模型缓存 export TRANSFORMERS_CACHE/path/to/cache export HF_HOME/path/to/cache # 3. 预加载模型在后台提前加载 # 创建预加载脚本 preload.py import torch from transformers import AutoTokenizer, AutoModelForCausalLM import time print(开始预加载模型...) start time.time() tokenizer AutoTokenizer.from_pretrained(/root/ai-models/LLM-Research/gemma-3-12b-it) model AutoModelForCausalLM.from_pretrained( /root/ai-models/LLM-Research/gemma-3-12b-it, torch_dtypetorch.bfloat16, device_mapauto ) print(f模型加载完成耗时: {time.time()-start:.2f}秒) print(模型已驻留内存WebUI启动会更快)5.2 使用中的问题Q: 回答速度慢怎么办# 1. 检查GPU使用情况 nvidia-smi # 2. 调整生成参数减少长度 max_new_tokens: 256 # 改为更小的值 # 3. 启用缓存在config.yaml中添加 generation: use_cache: true past_key_values: true # 4. 对于A100/V100启用TF32/FP16加速 # 在启动脚本中添加 export NVIDIA_TF32_OVERRIDE1 # A100 # 或 export TORCH_CUDA_AMP_ENABLED1 # V100Q: 回答质量不理想试试这些提示词技巧# 不好的提问方式 写代码 # 太模糊 解释一下 # 没有具体对象 # 好的提问方式 请写一个Python函数实现快速排序算法。 要求 1. 包含详细的注释 2. 处理边缘情况空列表、单个元素 3. 添加类型提示 4. 包含使用示例 # 或者 用简单的语言解释什么是递归适合编程初学者理解。 请举一个实际的例子并说明递归的优缺点。 Q: 如何保存对话历史WebUI本身不保存历史但你可以这样实现# 在app.py中添加保存功能 import json from datetime import datetime def save_conversation(history, filenameNone): if filename is None: filename fconversation_{datetime.now().strftime(%Y%m%d_%H%M%S)}.json data { timestamp: datetime.now().isoformat(), history: history } with open(f/root/gemma-3-webui/conversations/{filename}, w) as f: json.dump(data, f, ensure_asciiFalse, indent2) return filename # 在Gradio界面添加保存按钮 save_btn gr.Button(保存对话) save_btn.click( save_conversation, inputs[chatbot], outputs[gr.Textbox(label保存的文件名)] )5.3 性能优化问题Q: 如何监控GPU内存使用创建监控脚本#!/bin/bash # gpu_monitor.sh while true; do clear echo GPU 内存监控 echo 时间: $(date) echo # 获取GPU信息 nvidia-smi --query-gpuindex,name,memory.total,memory.used,memory.free,utilization.gpu --formatcsv echo echo 进程详情 nvidia-smi pmon -c 1 echo echo 按 CtrlC 退出 sleep 2 doneQ: 多用户同时访问怎么办如果需要支持多用户可以考虑# 修改app.py启用队列和并发 demo.queue(concurrency_count3) # 同时处理3个请求 demo.launch( server_name0.0.0.0, server_port7860, shareFalse, max_threads10 # 最大线程数 ) # 或者在config.yaml中添加限流 server: max_workers: 4 max_queue_size: 20 api_open: false # 关闭API只保留WebUI6. 进阶使用技巧6.1 批量处理脚本如果你需要处理大量文本可以创建批量处理脚本# batch_process.py import json from transformers import AutoTokenizer, AutoModelForCausalLM import torch from tqdm import tqdm class BatchProcessor: def __init__(self, model_path): self.tokenizer AutoTokenizer.from_pretrained(model_path) self.model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.bfloat16, device_mapauto ) self.model.eval() def process_batch(self, prompts, batch_size4, **gen_kwargs): 批量处理提示词 results [] for i in tqdm(range(0, len(prompts), batch_size)): batch prompts[i:ibatch_size] # 编码批量输入 inputs self.tokenizer( batch, return_tensorspt, paddingTrue,