Stable Diffusion系列(二):ControlNet基础控件介绍

news2025/7/19 4:23:12

文章目录

  • 线稿提取类
    • Canny:边缘检测
    • SoftEdge:软边缘检测
    • Lineart:精细线稿提取
    • Scribble/Sketch:涂鸦提取
    • MLSD:建筑领域的线条提取
  • 3D提取类
    • Normal map:法线贴图
    • Depth:深度计算
    • Segmentation:语义分割
  • 属性继承
    • Shuffle:风格迁移
    • OpenPose:姿态提取
    • Reference:整体保留
    • Revise:整体提示
  • 图片重绘
    • Tile/Blur:增加/减少细节
    • Recolor:重新上色
    • InstructP2P:指令修图
    • Inpaint:局部重绘
  • 其他
    • T2I-Adapter:文字到图片自适应
    • IP-Adapter:指令图片自适应

在下载插件时可以看到,ControlNet 插件的星数遥遥领先,远超其他妖艳贱货。究其原因,是因为其大大增强了使用者对图片生成过程的控制能力,图片的生成同时受到提示词和提示图的影响,使得文生图由抽卡游戏变成了一个更具确定性的创作工具。

ControlNet位置位于文生图界面下方,记得要勾选启用,可控类型包括这么点东西:
在这里插入图片描述
接下来我将以喜闻乐见的熊猫花花为例,演示一下关于ControlNet的高端操作
在这里插入图片描述

线稿提取类

Canny:边缘检测

如下图所示,图片的生成效果其实分为两步,第一步是使用canny预处理器提取出图片的线稿,第二步是由模型根据线稿和提示词同时绘图,如果你已经有现成的线稿,记得要把预处理器设为none
在这里插入图片描述
当我输入以下提示词时,得到了这样的画面,构图确实基本上一致,但说好的女装熊猫呢???你的裙子呢???
在这里插入图片描述

在这里插入图片描述
问题不大,不就是提示词的分量不够重吗,我直接减小控制权重以及让它不从头开始控制以及让提示词更重要,emmm,勉强算符合要求吧:
在这里插入图片描述

SoftEdge:软边缘检测

这其实就是上面的升级版,说是可以保留更多细节,相同设置下,直接看看效果:
在这里插入图片描述

Lineart:精细线稿提取

升级升级版,可以理解为是更精细的线稿提取,不错不错,有那味了:
在这里插入图片描述

Scribble/Sketch:涂鸦提取

个人感觉是在线稿基础上的“抓住主要矛盾,忽视次要矛盾”,注意这里除了从原图生成涂鸦,也可以自己手动画一个,但我只想说,你是哪来的肥兔子:
在这里插入图片描述

MLSD:建筑领域的线条提取

这种线条提取会更注重建筑结构比如景深之类,最经典的应用就是生成房屋效果图,如果强行丢一张非建筑,那只能是这样:
在这里插入图片描述
换一张花花的宫殿图试试,只能说它对于建筑的定义有点窄了:
在这里插入图片描述

3D提取类

下面就不放根据提示词重生成的图了,看着都大同小异(懒得放图了),只放第一步预处理的结果

Normal map:法线贴图

跟黑白线稿相比,可以很好地保存原图的光影效果以及表面的凹凸情况:
在这里插入图片描述

Depth:深度计算

提取画面的景深图,颜色越浅,距离越近,可以在图生图用来重新生成背景:

在这里插入图片描述

Segmentation:语义分割

从结构方面提取画面的信息,可以手动在语义分割图中添加新的语义块完成图生图任务:
在这里插入图片描述

属性继承

Shuffle:风格迁移

提取原图的绘画风格并迁移到新生成的图上,不得不说,这还是绘画或者游戏场景下比较适合,对熊猫来说这种艺术还是太超前了:
在这里插入图片描述

OpenPose:姿态提取

熊猫的姿态就不算姿态了吗?气鼓鼓
在这里插入图片描述
来个正常的人类:
在这里插入图片描述

Reference:整体保留

这个可以看做是上面种种的集大成者,可以用来在画面主体对应的个体不变的情况下改变动作或场景,比如对于提示词奔跑的熊猫就会生成下面这堆东西,不过还是没有画出花花的神韵,在这里插入图片描述

Revise:整体提示

其实跟Reference有点像,它的思路是直接把输入的原图作为提示词,可以文字提示词设为空直接跑,也可以与文字提示词一起用,但为什么熊猫变成了猎豹呢,可能是一个名字里有猫,一个是猫科动物吧:
在这里插入图片描述

图片重绘

Tile/Blur:增加/减少细节

前者用来做高清修复,后者用来做画面模糊,试试先模糊后修复的效果如何,高清修复不是很高啊:
在这里插入图片描述
在这里插入图片描述

Recolor:重新上色

原理很简单,首先把彩色改成黑白,然后在黑白图上根据提示词重新上色:
在这里插入图片描述

InstructP2P:指令修图

这个需要在图生图页面中启用,输入make it snow,效果看着还不错:
在这里插入图片描述

Inpaint:局部重绘

这个需要在图生图下的手绘蒙版页面中启用,花花变花猪:
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

其他

剩下这俩都是腾讯搞的,感觉就是mini版ControlNet,就先不细说了

T2I-Adapter:文字到图片自适应

IP-Adapter:指令图片自适应

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1157541.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

在线数据库关系图设计工具,选Itbuilder

一旦数据库超出了人类可消化的大小,使用关系图工具来辅助其设计就变得至关重要。创建数据库听起来像是一个复杂的过程,但使用现代数据库图表工具,情况并非如此。 itbuilder在线数据库设计工具使用户可以创建和导入数据库关系图以查看数据库对…

Elasticsearch:在你的数据上训练大型语言模型 (LLM)

过去的一两年,大型语言模型(LLM)席卷了互联网。 最近 Google 推出的 PaLM 2 和 OpenAI 推出的 GPT 4激发了企业的想象力。 跨领域构思了许多潜在的用例。 多语言客户支持、代码生成、内容创建和高级聊天机器人都是一些例子。 这些用例要求 LL…

【牛客网】安全—加密和安全

每日一练 Day1: 1.信息安全的基本属性是( D ) A.保密性 B.完整性 C.可用性,可靠性,可控性 D.A、B、C都是 信息安全的基本属性通常可以归纳为以下几个方面: 保密性(Confidentiality&#xf…

性能测试、负载测试、压力测试之间的差异!

1、什么是性能测试 性能测试是一种用于确定计算机、网络或设备速度的测试。它通过在不同的负载场景中传递不同的参数来检查系统组件的性能。 2、什么是负载测试 负载测试是在任何应用程序或网站上模拟实际用户负载的过程。它检查应用程序在正常和高负载期间的行为。当开发项…

Jenkins中解决下载maven包巨慢的问题

背景介绍 我们在使用jenkins构建maven项目时由于依赖很多第三方jar包,默认会从maven中央仓库下载,由于maven中央仓库服务器是国外的,所以下载很慢,甚至会超时 解决办法 增加jenkins maven 源配置 如下图所示,增加m…

7 款用于训练 AI 模型的合成数据工具

什么是合成数据? 合成数据是计算机模拟或算法生成的注释信息,作为真实世界数据的替代品。换句话说,合成数据是在数字世界中创建的,而不是从现实世界中收集或测量的。 合成数据的用例 为机器人开发软件只是合成数据的众多用例之…

电脑如何录制小视频

如果你想在你的电脑上录制视频分享给你的朋友或者亲人,无论你的电脑是win还是mac,都可以在本篇文章中找到电脑录制视频的详细教程。小编为你们整理了2种不同系统电脑的录制详细流程,继续阅读查看吧! 第一部分:windows…

公众号留言功能报价是多少?值得开通吗?

为什么公众号没有留言功能?根据要求,自2018年2月12日起,新申请的微信公众号默认无留言功能。有些人听过一个说法:公众号粉丝累计到一定程度或者原创文章数量累计到一定程度就可以开通留言功能。其实这个方法是2018年之前才可以&am…

智慧农场牧场小程序源码 智慧农业认养系统源码

智慧农场牧场小程序源码 智慧农业认养系统源码 要了解源码的,看文末。 随着科技的进步和人们对绿色食品的需求增加,智慧农场正成为未来农业发展的方向。智慧农场是指运用先进的技术手段,如物联网、云计算、智能控制技术、大数据分析等&…

修改element组件库的el-input-number的图标

官方样式: 我希望组件的图标改成一对上下是三角形的图标: 直接复制以下代码: ::v-deep .el-icon-arrow-down:before {content: "\e790"; } ::v-deep .el-icon-arrow-up:before {content: "\e78f"; } 完成&#xff01…

【C++】main开始的地方

目录 1. C关键字 2. 命名空间 2.1 命名空间定义 2.2 命名空间使用 3. C输入&输出 4. 缺省参数 4.1 缺省参数概念 4.2 缺省参数分类 5. 函数重载 5.1 函数重载概念 5.2 C支持函数重载的原理--名字修饰(name Mangling) 6. 引用 6.1 引用概…

VSIX:C#项目 重命名所有标识符(Visual Studio扩展开发)

出于某种目的(合法的,真的合法的,合同上明确指出可以这样做),我准备了一个重命名所有标识符的VS扩展,用来把一个C#库改头换面,在简单的测试项目上工作很满意,所有标识符都被准确替换…

springboot通过aop自定义注解@Log实现日志打印

springboot通过aop自定义注解Log实现日志打印 文章目录 效果图实操步骤1.引入依赖2.自定义日志注解3.编写日志切面类4.UserController5.运行 效果图 实操步骤 注意&#xff0c;本代码在springboot环境下运行&#xff0c;jdk1.8 1.引入依赖 <dependency><groupId>…

手机通讯录好备份,那微信通讯录怎么备份出来

6-8 众所周知的是&#xff0c;手机通讯录是很好备份的&#xff0c;但是微信不行&#xff0c;手机本身就带有备份功能&#xff0c;换手机可以快速地迁移通讯录&#xff0c;比如下面这个就是小米手机自带的备份功能&#xff0c;简单好用 但是现在生意可都在微信上做了&#xff0…

记一次flask框架环境综合渗透测试

PART.01 登入过程 访问靶场地址http://101.43.22.226/?name2023&#xff0c;框架为Flask。 2. 测试存在ssti注入。 3. 直接执行以下命令。 http://101.43.22.226/?name{% for c in [].class.base.subclasses() %} {% if c.name ‘catch_warnings’ %} {% for b in c.i…

42 深度学习(六):调参|保存模型以及再次调用或训练

文章目录 卷积神经网络调参optimizer 优化器SGDmomentumAdaGradRMSPropadam学习率自适应经验之谈 激活函数SigmoidTanhReLULeaky-ReLU指数线性单元(ELU)Maxout&#xff08;基本不用&#xff09;经验之谈 初始化全部为 0判断初始化好不好批归一化&#xff08;BN&#xff09; 数据…

Python项目——识别指定物品

目录 1、百度EasyDL平台数据配置 1.1、训练图像上传 1.2、训练图像进行标注 1.3、训练模型 1.4、检验识别 1.5、申请发布 1.6、控制台权限配置 2、Python调用物体识别API 本项目是基于百度EasyDL平台制作的识别转盘内瓶子&#xff0c;且识别瓶子位置的一个项目。通过在…

10步搭建跨境商城,打造全球销售帝国

我将向您介绍如何通过10个简明步骤搭建一个强大的跨境商城&#xff0c;从而打造一个覆盖全球的销售帝国。在这个全球化时代&#xff0c;跨境电商已成为许多企业扩大业务的关键途径。然而&#xff0c;搭建一个成功的跨境商城并不容易&#xff0c;需要充分了解市场需求、制定合适…

【java学习—十一】枚举类(2)

文章目录 1. 枚举类概述2. 实现接口的枚举类 1. 枚举类概述 在某些情况下&#xff0c;一个类的对象是有限而且固定的。例如季节类&#xff0c;只有4个对象&#xff1b; ①手动实现枚举类&#xff1a; • private 修饰构造器 • 属性使用 private final 修饰 • 把该类的所有实…

pod进阶--02

//示例4&#xff1a;就绪检测 vim readiness-httpget.yaml apiVersion: v1 kind: Pod metadata:name: readiness-httpgetnamespace: default spec:containers:- name: readiness-httpget-containerimage: soscscs/myapp:v1imagePullPolicy: IfNotPresentports:- name: httpcon…