1、DIT

https://zhuanlan.zhihu.com/p/683612528

DiT最大的创新点是将Transformer引入到了扩散模型中，并完全抛弃了CNN。但是DiT并不是第一个引入Transformer的，例如之前的U-ViT，UniDiffuser等都尝试了将Transformer引入到扩散模型中。至于对效果提升同样非常有帮助的adaLN，zero-初始化，classifier-free guidance等则是已有的工作了。DiT引入条件信息还是仅仅局限在样本类别，接下来我们有必要学习一些引入文本序列作为条件的生成模型了。

1、Diffusion Model （扩散模型）系列四：DALLE 2

https://zhuanlan.zhihu.com/p/585300710

2、Diffusion Model（扩散模型） 系列5 ：Stable-Diffusion

https://zhuanlan.zhihu.com/p/591432516

3、Diffusion Model（扩散模型） 系列6 ：大杀器 ControlNet 详解

https://zhuanlan.zhihu.com/p/609075353

4、Diffusion Model（扩散模型） 系列7，另一种可控的生成方案： Composer: Creative and Controllable Image Synthesis

（2023|ICML，解耦表示，多条件生成，扩散）Composer：使用合成条件进行创意和可控图像合成_composer: creative and controllable image synthesi-CSDN博客

https://zhuanlan.zhihu.com/p/611787356

5、T2I-Adapter 解读： 控制diffusion model 方法

T2I-Adapter：学习适配器为文本到图像扩散模型挖掘更多可控能力_t2i adapter-CSDN博客

6、AIGC系列1：chatGPT和AI绘画-stable diffusion中很火的LoRa是?（更新中）

https://zhuanlan.zhihu.com/p/613410830

7、Diffusion Model (扩散模型) 系列9: MultiDiffusion：解决内存不足&高分辨率生成问题

https://zhuanlan.zhihu.com/p/618455424

https://zhuanlan.zhihu.com/p/623875680

8、AIGC系列2: Segment Anything Model (分割一切模型)

https://zhuanlan.zhihu.com/p/620852588

---

1、Stable-Diffusion相关源码分析及实践篇1：Control-Net

https://zhuanlan.zhihu.com/p/622542233

2、大模型中的位置编码ALiBi,RoPE的总结和实现

大模型中的位置编码ALiBi,RoPE的总结和实现_alibi位置编码-CSDN博客

3、Diffusion Model（扩散模型） 系列6-1 ：大杀器 ControlNet V1.1 更新来啦

https://zhuanlan.zhihu.com/p/624602487

4、【玩转 GPU】ControlNet 初学者生存指南原创

【玩转 GPU】ControlNet 初学者生存指南-腾讯云开发者社区-腾讯云

5、【AIGC-AI视频生成系列-文章1】Text2Video-Zero

[2303.13439] Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators

https://zhuanlan.zhihu.com/p/626777733

【论文阅读】Text2Video-Zero:Text-to-Image Diffusion Models are Zero-Shot Video Generators-CSDN博客

一句话亮点：当文本-视频生成也不需要额外数据训练，只需要基于现有的diffusion-model 如Stable Diffusion能力调整即可实现，解决生成视频帧间不一致问题，是不是很心动。

基于现有的文本-视频生成扩散模型的重数据，高需求，进行了以下改进：

• zero-shot，仅仅使用现有的扩散模型如Stable-Diffusion。实现了相似甚至有时更好的性能

• 用motion dynamics运动信息丰富生成帧的latent code，以保持全局场景和背景的一致性。用跨帧注意力机制来保留整个序列中前景对象的上下文、外观和身份，以保持生成场景和背景的一致性。

6、【Diffusion Model （扩散模型）系列10】LyCORIS ：围绕LoRa的细粒度优化实现库

https://zhuanlan.zhihu.com/p/633044024

7、LoRA 改进：

---

1、【Diffusion Model （扩散模型）系列11】StyleDrop：单张图片的高质量风格化

2、【Diffusion Model （扩散模型）系列11】StyleDrop：单张图片的高质量风格化

3、【Diffusion Model （扩散模型）系列12】SnapFusion：扩散模型压缩，实现端上秒级应用

一句话总结：使用Snap之后，可以保证SD-1.5模型在端上秒级实现。

4、【Diffusion Model （扩散模型）总结篇-1】：一文梳理三种Stable Diffusion模型微调方法的异同

https://zhuanlan.zhihu.com/p/653818267

5、【Diffusion Model （扩散模型）系列13】IP-Adapter：将图像作为prompt引导生成模型

https://zhuanlan.zhihu.com/p/658320293

【一句话总结】

腾讯-AILab 又来整顿可控生成模块了，通过提取图像特征并作用于U-Net中，实现只需要一张图像就可以实现“垫图”功能，效果比目前常见相似生成的Control-Net shuffle/ Reference-Only 效果要更好。（并支持SDXL的相似生成）。