Nunchaku FLUX.1-dev使用手册:ComfyUI中启动、加载工作流与生成图片
Nunchaku FLUX.1-dev使用手册ComfyUI中启动、加载工作流与生成图片1. 环境准备与安装部署1.1 硬件与软件要求在开始使用Nunchaku FLUX.1-dev模型前请确保您的系统满足以下基础要求硬件配置显卡支持CUDA的NVIDIA显卡推荐24GB及以上显存显存不足时可选择FP8量化版模型降低要求软件环境Python 3.10或更高版本Git环境PyTorch对应版本需匹配系统和显卡安装huggingface_hub工具pip install --upgrade huggingface_hub1.2 ComfyUI-nunchaku插件安装提供两种安装方式可根据需求选择1.2.1 Comfy-CLI快速安装推荐新手# 安装ComfyUI CLI工具 pip install comfy-cli # 安装ComfyUI已安装可跳过 comfy install # 安装Nunchaku插件 comfy noderegistry-install ComfyUI-nunchaku mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes1.2.2 手动安装适合自定义需求# 1. 安装ComfyUI git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI pip install -r requirements.txt # 2. 克隆Nunchaku插件 cd custom_nodes git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes1.3 Nunchaku后端安装从v0.3.2版本开始可通过install_wheel.json一键安装/更新后端wheel包# 在ComfyUI根目录执行 python custom_nodes/nunchaku_nodes/install_wheel.json2. 模型下载与配置2.1 基础FLUX模型下载必须下载的基础模型组件包括文本编码器和VAE模型# 文本编码器模型存放至models/text_encoders hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders # VAE模型存放至models/vae hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae2.2 FLUX.1-dev主模型下载根据显卡类型选择适合的量化版本# INT4版本适合大多数NVIDIA显卡 hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/ # FP4版本仅限Blackwell架构显卡如RTX 50系列 hf download nunchaku-tech/nunchaku-flux.1-dev svdq-fp4_r32-flux.1-dev.safetensors --local-dir models/unet/2.3 可选LoRA模型为提升生成效果可下载以下优化模型# FLUX.1-Turbo-Alpha LoRA hf download nunchaku-tech/flux.1-turbo-alpha diffusion_pytorch_model.safetensors --local-dir models/loras/ # Ghibsky Illustration风格LoRA hf download nunchaku-tech/ghibsky-illustration lora_v2.safetensors --local-dir models/loras/2.4 工作流配置将示例工作流复制到ComfyUI指定目录# 进入ComfyUI根目录 cd ComfyUI # 创建工作流目录 mkdir -p user/default/example_workflows # 复制Nunchaku示例工作流 cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/3. 启动与使用流程3.1 启动ComfyUI服务在ComfyUI根目录执行启动命令python main.py启动后在浏览器中访问http://localhost:8188进入ComfyUI网页界面。3.2 加载工作流在ComfyUI界面中加载Nunchaku FLUX.1-dev专用工作流点击右上角Load按钮选择user/default/example_workflows/nunchaku-flux.1-dev.json文件工作流将自动加载所有必要节点3.3 参数设置与图片生成3.3.1 基本参数配置提示词输入在Prompt节点输入英文描述模型对英文支持更佳示例A futuristic cityscape at night, neon lights, cyberpunk style, 8K resolution分辨率设置根据显存容量调整Width和Height参数推荐初始值1024x1024显存充足时推理步数使用FLUX.1-Turbo-Alpha LoRA时10-15步关闭该LoRA时至少20步3.3.2 高级参数调整采样器选择推荐使用DPM 2M Karras或Euler a可尝试不同采样器获得风格变化LoRA权重控制调整LoRA节点的strength参数0-1之间多个LoRA可组合使用注意权重平衡CFG Scale控制提示词遵循程度推荐3.5-7.0值越高越贴近提示词但可能降低多样性3.4 生成与结果查看点击Queue Prompt按钮开始生成生成过程中可在右侧预览区观察进度完成后右键图片选择Save Image保存结果4. 常见问题与优化建议4.1 显存优化方案针对不同显存容量的优化策略显存容量推荐配置≥24GBFP16原生模型1024x1024分辨率16-24GBINT4量化模型768x768分辨率8-16GBFP8量化模型512x512分辨率8GB考虑使用Colab等云服务4.2 模型目录结构验证确保所有模型文件存放在正确目录ComfyUI/ ├── models/ │ ├── unet/ # FLUX.1-dev主模型 │ ├── loras/ # LoRA模型 │ ├── text_encoders/ # 文本编码器 │ └── vae/ # VAE模型4.3 性能优化技巧启用xFormerspip install xformers在extra_model_paths.yaml中添加use_xformers: true使用TCMallocsudo apt install libtcmalloc-minimal4 export LD_PRELOAD/usr/lib/x86_64-linux-gnu/libtcmalloc_minimal.so.4批处理生成修改工作流中的Batch Size参数注意会增加显存占用4.4 故障排除指南问题现象可能原因解决方案加载工作流时报错缺少自定义节点通过ComfyUI-Manager安装缺失节点生成图片模糊推理步数不足增加steps至20检查CFG Scale显存不足模型量化版本不匹配换用更低精度的量化模型生成速度慢未启用xFormers安装xFormers并启用色彩异常VAE模型不匹配检查VAE模型是否正确加载5. 总结与进阶建议通过本教程您已经掌握了在ComfyUI中使用Nunchaku FLUX.1-dev模型生成高质量图片的完整流程。以下是进一步提升使用体验的建议模型微调使用Dreambooth或LoRA训练个性化风格参考官方文档调整训练参数工作流定制尝试组合不同功能节点保存常用工作流配置为模板效果优化实验不同的提示词工程技巧混合使用多个LoRA模型性能监控使用nvidia-smi观察显存占用记录不同配置下的生成时间获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2495266.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!