Stable Diffusion进阶之Controlnet插件使用

news2025/5/13 16:18:22

前面已经对Stable Diffusion的文生图和图生图的操作界面做了详细的介绍，接下来会介绍Stable Diffusion的进阶部分Controlnet插件的使用。往期文章详见：

爆肝整理！Stable Diffusion的完全使用手册（一）
爆肝整理！Stable Diffusion的完全使用手册（二）
爆肝整理！Stable Diffusion的完全使用手册（三）
爆肝整理！Stable Diffusion的完全使用手册（四）

一、Controlnet简介

原本Stable Diffusion对图片的约束维度、种类太少，比较宽泛。比如文字描述存在不够准确等问题，像素描述存在将过多维度的信息杂糅到一起，无法提取单一维度的信息等问题。Controlnet的出现是为了解决图像生成随机性过强的问题，它可以从多个角度增加对生成图片的约束，可以从已有的图片中提取出图片特征。

Controlnet是Stable Diffusion区别于其他AI绘画软件的里程碑似得插件，随着时间的推移，Controlnet插件的功能边界会越来越宽广，这也使得Stable Diffusion更加具有不可替代性。

Controlnet的工作流程：

输入要参考（提取特征）的图片。
提取出图片中需要参考的特征。
使用Controlnet模型对提取出来的图片特征进行理解。
根据图片特征生成结果。

二、Controlnet操作界面

本节先简单讲解下Controlnet的操作界面及按钮功能，详细的使用后续会专门介绍。以下2张截图就是Controlnet的使用界面。

1、控制单元

方便Stable Diffusion从多个维度控制生成的图片特征。比如可以使用OpenPose姿态提取，来对控制单元中上传的图片提取出姿势。

对于提取出来的姿势骨架图，可以自行对骨架图进行调整，Stable Diffusion会根据调整后的骨架图来生成新的图片（效果详见下图）。

原图	原图骨架图	调整后的骨架图	生成的新图

控制单元的个数可以在设置中进行调整。

2、单张图片、批量处理、多张上传

用来给控制单元上传需要处理的参考图。单张图片和多张上传不用多说，分别是上传一张图片以及上传多张图片。批量处理中需要填写文件夹的地址，这样Stable Diffusion在生成图片时会参考文件夹下的所有图片进行图片生成，比如下图中，文件夹中有4张图，设置Stable Diffusion生成1批，每批1张图的情况下，Stable Diffusion会参照文件夹中的每一张图进行生成，最终生成4张图。

单张图片	批量处理	多张上传

上传图片的右下角有4个小按钮，其功能分别是：

画布：可以新建一个画布，然后使用画笔进行涂鸦绘画。
开启摄像头：可以拍摄一张照片，然后读取照片上的信息特征。
镜像摄像头：开启镜像。
将当前图片尺寸信息发送到生成设置：可以读取到上传的图片的分辨率大小，宽度和高度。

3、启用、低显存模式、完美像素模式、允许预览、高效子区蒙版

启用：
- 如果要使用Controlnet控制单元，则需要勾选该按钮。启用后Controlnet的控制单元才会起作用。
- 如果需要使用多个控制单元，则需要使用的每一个控制单元都需要勾选上该按钮。
低显存模式：Controlnet在使用时会额外消耗显存资源，当电脑配置不足时，会存在爆显存问题。勾选后可以降低显存的使用，但是会增加生成图片的时间。（当显存不够8GB的时候可以考虑打开）
完美像素模式：提取的特征参考图，也会有分辨率，特征图的分辨率也会影响生图效果。在该模式出来之前可以通过“预处理器分辨率”来调整特征图的分辨率，值越大提取的特征越详细。完美像素模式会自动计算生成特征图的最佳分辨率。
允许预览：勾选后会展示出提取的特征图。
高效子区蒙版：就是让你像“分块涂色”一样控制生成的图片。可以把画布分成几块，每块单独写提示词。举个栗子🌰：画“左边沙漠+右边雪山+中间站只熊猫”，用蒙版分三块分别写提示词，AI就不会把熊猫画到天上，或者沙漠和雪山糊在一起了。

4、预处理器、模型

Controlnet可以提取图片特征，而预处理器就是用来提取图片特征的。

模型是为了让Stable Diffusion知道如何去识别和理解特征图。

特征图和模型需要对应上才能发挥效果。

5、控制类型

Controlnet的预处理器和模型需要匹配才能正常生成图片。然而Controlnet的预处理器和模型种类非常的多，如何才能正确选择预处理器及其相应的模型是个难题。控制类型的出现就是将预处理器进行分类，并且为每个分类下匹配正确的模型。当选择好预处理器后会自动匹配模型。

有关控制类型的详细功能及使用后续再介绍。

6、控制权重&引导介入时机&引导终止时机

控制权重：决定Controlnet对图片生成结果的影响程度。值越大则Controlnet对SD的生图效果影响越大。
引导介入时机：与迭代步数有关。假设数值为x，则表示Controlnet在迭代步数*x的时候开始介入，再此之前Controlnet对生图无影响。从迭代步数多少步时Controlnet开始起作用。
引导终止时机：代表Controlnet在多少步之后结束介入。从迭代步数多少步时Controlnet停止起作用。