一步一步学习 Stable Diffusion
- 0. 背景
- 1. 安装
- 2. 汉化
- 3. 安装 sd-webui-controlnet 插件
- 4. 安装 sd-webui-segment-anything 插件
- 5. 安装 ultimate-upscale 插件
- 6. 安装 SadTalker 插件
- 7. 下载和配置 VAE 模型
- 8. 使用 ChilloutMix 模型
- 99. 未完待续
0. 背景
网上看了很多 Stable Diffusion 的视频,还有一些网站的资料之后,决定自己整理一份一步一步学习 Stable Diffusion 的学习资料。
1. 安装
请参照 Windows 11 本地部署 Stable Diffusion web UI 或者 Windows 11 上从零开始基于 wsl-ubuntu 搭建 AI 学习环境及部署多种私有 ChatGPT 进行部署。
2. 汉化
访问 Extensions => Available 标签,去掉 localization 勾选,然后单击 “Load from”,

在 Search 处输入 zh,然后单击 Install 安装 “zh_CN Localization localization”,

单击 Installed 标签,然后单击 “Apply and restart UI” 重新启动 UI。

单击 Settings => User interface,将 Localization 设置为 zh_CN,然后单击 “Apply settings”,在然后单击 “Reload UI”,

这样,Stable Diffusion 的环境就变成中文了。

3. 安装 sd-webui-controlnet 插件
单击扩展=>从网址安装,输入以下内容,然后单击安装,
- 扩展的 git 仓库网址:
https://github.com/Mikubill/sd-webui-controlnet

然后单击已安装,单击应用并重启用户界面,

访问 https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main 下载模型文件,只需要下载扩展名是 .pth 的文件,总共 14 个文件,大概 20GB。


然后将下载的文件保存到 stable-diffusion-webui\extensions\sd-webui-controlnet\models 目录下,

额外配置,

4. 安装 sd-webui-segment-anything 插件
单击扩展=>从网址安装,输入以下内容,然后单击安装,
- 扩展的 git 仓库网址:
https://github.com/continue-revolution/sd-webui-segment-anything
然后单击已安装,单击应用并重启用户界面,

下载模型文件 https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth,保存到 stable-diffusion-webui\extensions\sd-webui-segment-anything\models\sam 目录下,

5. 安装 ultimate-upscale 插件
单击扩展=>从网址安装,输入以下内容,然后单击安装,
- 扩展的 git 仓库网址:
https://github.com/Coyote-A/ultimate-upscale-for-automatic1111
然后单击已安装,单击应用并重启用户界面,

下载模型文件 https://huggingface.co/lokCX/4x-Ultrasharp/resolve/main/4x-UltraSharp.pth,保存到 stable-diffusion-webui\models\ESRGAN 目录下,

6. 安装 SadTalker 插件
单击扩展=>从网址安装,输入以下内容,然后单击安装,
- 扩展的 git 仓库网址:
https://github.com/OpenTalker/SadTalker
然后单击已安装,单击应用并重启用户界面,

下载模型文件 https://github.com/OpenTalker/SadTalker/releases,保存到 stable-diffusion-webui\extensions/SadTalker/checkpoints 目录下,解压 BFM_Fitting.zip 和 hub.zip 到当前文件夹,

7. 下载和配置 VAE 模型
下载下面几个 VAE 模型,
- Anything-V3.0.vae.safetensors
- vae-ft-ema-560000-ema-pruned.safetensors
- vae-ft-mse-840000-ema-pruned.safetensors
保存到 stable-diffusion-webui\models\VAE 目录下,

访问设置=>“Stable Diffusion”,启用模型的 VAE。

8. 使用 ChilloutMix 模型
下载 (ChilloutMix](https://civitai.com/models/6424/chilloutmix) 模型,保存到 stable-diffusion-webui\models\Stable-diffusion 目录下。
下载 LoRA 微调模型,先下载这 2 个体验一下,保存到 stable-diffusion-webui\models\Lora 目录下。

99. 未完待续
未完待续!






![[图表]pyecharts模块-柱状图](https://img-blog.csdnimg.cn/d89a258102674921aff18e286628f6ca.png#pic_center)











