StableDiffusion学习笔记——4、模型下载和学习

news2025/5/11 5:30:03

目录
大家好，我是阿赵。
继续学习StableDiffusion的使用。
这次来学习一下模型的相关知识

一、什么是模型

之前我们了解过，在StableDiffusion里面生成图片或者视频，都需要先选择模型。模型用通俗的话来说，就是决定了生成图片或者视频的内容的大数据集合。使用不同的模型，会让生成的结果产生很大的差异。所以我们在生成内容之前，需要先了解有哪些类型的模型可以用，还有它们分别的作用是什么。

二、模型的类别

之前在简单的使用提示词生成模型的时候，曾经用过2种模型：
在这里插入图片描述

在这里插入图片描述

不过实际上在Stablediffusion里面，还有很多不同类型的模型。

1、 CheckPoint(ckpt)

ckpt是比较常见的一种模型类型，CheckPoint在游戏里面就是保存点或者存档的意思。CheckPoint模型的含义也同样是这样，它是在训练过程中保存训练的进度。因为训练过程中可能因为各种原因失败，所以训练到一定的程度，就应该保存一下。
ckpt模型的特点是容量大，包含图片数据多。
使用方法：将其存放到 Stable Diffusion 安装目录下\models\Stable-diffusion 文件夹中

2、 safetensors

上面介绍了ckpt模型，ckpt模型为了让我们能够从之前训练的状态回复训练，而保存了较多的训练信息，比如模型的权重、优化器和Python代码。这样，会使ckpt模型的容量变得很大，而且有包含恶意代码的风险。
于是safetensors模型出现了，它只包含模型权重，不包含优化器和代码或者其他信息。所以safetensors 模型容量会更小，而且更安全。
使用方法：将其存放到 Stable Diffusion 安装目录下\models\Stable-diffusion 文件夹中。

3、 Embeddings

我们可以将 Embeddings 模型简单理解为封装好的提示词文件，通过将特定目标的描述信息整合在 Embeddings 中，后续我们只需一小段代码即可调用，效果要比手动输入要方便快捷上许多。像我们平时头疼的避免错误画手、脸部变形等信息都可以通过调用 Embeddings 模型来解决，比如最出名的 EasyNegative 模型。
使用方法：只需将下载好的模型放置到 Stable Diffusion 安装目录下\embeddings 文件夹中，使用时点击对应的模型卡片，对应的关键词就会被添加到提示词输入框中。

4、 LoRA

LoRA 是 Low-Rank Adaptation Models 的缩写，意思是低秩适应模型。
总结成一句话就是固定目标的特征形象，这里的目标既可以是人也可以是物，可固定的特征信息就更加保罗万象了，从动作、年龄、表情、着装，到材质、视角、画风等都能复刻。因此 LoRA 模型在动漫角色还原、画风渲染、场景设计等方面都有广泛应用。
使用方法：将模型保存在\models\Lora 文件夹，在实际使用时，我们只需选中希望使用的 LoRA 模型，在提示词中就会自动加上对应的提示词组。
需要注意的是，有些 LoRA 模型的作者会在训练时加上一些强化认知的触发词，我们在下载模型时可以在右侧看到 trigger word，建议大家在使用 LoRA 模型时加上这些触发词，可以进一步强化 LoRA 模型的效果。

5、 Hypernetwork

它的原理是在扩散模型之外新建一个神经网络来调整模型参数，而这个神经网络也被称为超网络。
因为 Hypernetwork 训练过程中同样没有对原模型进行全面微调，因此模型尺寸通常也在几十到几百 MB 不等。它的实际效果，我们可以将其简单理解为低配版的 LoRA，虽然超网络这名字听起来很厉害，但其实这款模型如今的风评并不出众，在国内已逐渐被 LoRA 所取代。因为它的训练难度很大且应用范围较窄，目前大多用于控制图像画风。所以除非是有特定的画风要求，否则还是建议大家优先选择 LoRA 模型来使用。
使用方法：下载模型放到\models\hypernetworks

6、 VAE

它的工作原理是将潜空间的图像信息还原为正常图片。作为 ckpt 模型的一部分，VAE 模型并不像前面几种模型用于控制图像内容，而是对主模型的图像修复。
比较常用的有：Anything4.5或者kl-f8-anime2等
使用方法： VAE 模型的放置位置是在\models\VAE，因为是辅助 Checkpoint 大模型来使用，所以可以将大模型对应的 VAE 修改为同样的名字，然后在选项里勾选自动，这样在切换 Checkpoint 模型时 VAE 就会自动跟随变换了。

三、模型的获取

说了这么多模型的作用，那么从哪里得到这些模型呢？
如果自己有能力，自己训练模型是一个比较好的方法，毕竟想需要什么效果，可以自己去控制。不过我们不一定有能力和时间去训练自己的模型，所以也可以去找一些别人训练好的模型去使用。
比较有名的获取AI生图模型的网站，比如：
Civitai(简称C站)，地址：https://civitai.com/
liblibAI(哩布哩布)，地址：https://www.liblib.art/
由于C站是需要科学上网的，所以我一般是上哩布哩布比较多一点。
在这里插入图片描述

在筛选里面，可以选择很多条件，比如作者、模型的类型、基础底模
在这里插入图片描述

或者选择一些已有的类别：
在这里插入图片描述

或者直接搜索
在这里插入图片描述

比如我想找一个写实的模型，可以直接搜索
在这里插入图片描述

如果想找二次元的模型：
在这里插入图片描述

可以注意一下，模型缩略图左上角会有该模型的类型：
在这里插入图片描述

我们可以比较快速的知道，这个模型是LORA模型还是CheckPoint模型，是否XL的。

四、学习下载模型的使用和参数

1、阅读作者的说明

在这里插入图片描述

一般在下载模型的页面，都会有模型作者的一些说明，比如使用怎样的采样模式，步数等一些参数的建议，或者是否需要VAE模型的说明等。
想用好该模型，就不能忽略作者的建议。

2、参考模型例子的参数

在模型下载的页面，一般会带有几张范例。鼠标悬浮在感叹号图标上，会出现这个图片的参数：
在这里插入图片描述

一般来说，下载了这个模型并使用，然后把参数设置到和范例一样，就会生成出和范例一模一样的效果。不过也有例外，比如如果生成的图片使用了LoRa模型，而你本地并没有对应的LoRa模型，那么生成出来的效果就会不一样。
我们可以学习作者的范例，看看提示词和反向提示词怎样设置，采样和其他参数怎样设置，会出来更好的效果。