Introduction to Generative AI 2024 Spring文章目录第17講有關影像的生成式AI (上) — AI 如何產生圖片和影片 (Sora 背後可能用的原理)24.05.31video or image to contentcondition to video/imagetalking headLAION datasetsTextual InversionPseudo-3D AttentionImagen Video参考第17講有關影像的生成式AI (上) — AI 如何產生圖片和影片 (Sora 背後可能用的原理)24.05.31video or image to content与影像有关的生成式 AI基于 image or video 生成文字eg看图说话基于 condition 生成 image or videoeg文生图上面展示的是图片生成文字Q1你觉得哪一张图片中的人比较帅Q2猜猜看他们分别从事什么职业Q3你一定要决定谁比较帅就是个人精说话非常精明哈哈哈哈condition to video/image再看看基于 condition 生成eg文字生影像最近比较火的 sora 就是来看几个例子下面是 prompt选了两段现实生活中不会出现的场景 demo没有被 train 过的概率更大看看有瑕疵的生成eg1生成五只狼的幼崽1~2 复制成多个eg2生成考古学家发掘出来一把椅子变形出来的跑了影像也可以生成影像eg续写扩写风格转化修复画质提升talking head其它输入生成影像talking headeg输入声音图片输出图片中的人会说出输入的声音口型一致 传统媒体一直在镜头前说话的人AI/计算机视觉让脸“开口说话”的生成技术常见技术方向包括唇形同步lip sync头像动画生成deepfake 类人脸驱动 评价语境只会复读的“传话筒”“just a talking head”“只会照本宣科的人没有独立观点/深度”用各式各样的 condition 来生成图片eg草图、深度图、轮廓、分割标签、关键点等图片是由像素所构成影片是由一张一张图片所构成视频 24 fps 比较流畅1 fps 就是幻灯片看不了游戏 60 fps 可能才会觉得丝滑、流畅今日的人工智慧如何看影响encoder-decoderimage-patch- embeddingflattenvideo 的话时间上也可以进一步压缩不止空间上patchsora 也用了类似技术压缩为 patch - flattenLAION datasets文字生图为例训练资料为图片对应的文字LAION 文生图数据集58 亿张图本质上是目前最重要的“互联网级图文对齐训练数据之一”是很多文生图模型比如 Stable Diffusion背后的核心燃料。图片本身不一定存储在 LAION多数是 URL需要再下载alt text 不准的本质是它是“网页可用性字段”不是“语义标注字段”“设计初衷”就不是 AI 数据再加上互联网内容天然混乱 自动生成 SEO污染导致质量严重不稳定。patch 接龙egautoregressive 方法patch 接龙egnon-autoregressive 方法如何评量影像生成的好坏用 CLIP 模型图片和文字正确的配对给高分不正确的配对给低分可以用 CLIP 模型的能力来评估生成图片的好坏CLIP score一张图胜过千言万语有时候图片的内容无法用文字准确的描述eg上面的钟prompt 怎么写也太好还原其样子左边是生成的Textual Inversion基于此可以玩一个个性化的图像生成用一个符号表示一张图片eg 上面用 S* 符号表示磨具Textual InversionAI 可以生成油画版、图标版、elmo 版、针织版 S*上图展示的是AI领域中一种被称为个性化Personalization或特定主体生成Subject-Driven Generation的技术。更具体地说是Textual Inversion文本倒置技术。第一步“教” AI 一个新的概念 (左侧部分)输入样本 (Input Samples)左侧有四张图片展示的是同一个特定的物品——一个绿色的、盘腿坐姿的无头雕塑。这是用户希望AI“记住”的特定对象。反演 (Invert)这是一个关键的训练过程。AI并不需要重新学习整个模型而是通过算法“逆向工程”找到一个特定的文本嵌入向量Embedding这个向量能够最好地代表这四张图片中的主体特征。特殊符号 “S ∗ S_*S∗​”这个训练出来的特定向量被赋予一个特殊的符号通常是一个不常用的单词这里用S ∗ S_*S∗​表示。此时AI已经学会了只要我在提示词中输入 “S ∗ S_*S∗​”指的就是这个绿色的盘腿雕塑。第二步“用” 这个新概念生成各种图片 (右侧部分)一旦AI学会了 “S ∗ S_*S∗​” 代表什么用户就可以在提示词中任意组合这个符号生成该主体在不同风格、语境下的图片同时保持主体的特征不变。图片展示了四个例子左上风格转换。提示词“An oil painting ofS ∗ S_*S∗​”一幅S ∗ S_*S∗​的油画。结果AI生成了一幅油画画中的主体正是那个绿色的盘腿雕塑但材质和画风变成了油画。右上形式转换/图标化。提示词“App icon ofS ∗ S_*S∗​”S ∗ S_*S∗​的应用图标。结果AI保留了盘腿雕塑的轮廓特征将其设计成了扁平化、简约风格的APP图标。左下跨物种/动作对齐。提示词“Elmo sitting in the same pose asS ∗ S_*S∗​”艾摩以和S ∗ S_*S∗​相同的姿势坐着。结果这是一个高级用法。AI没有生成绿雕塑而是生成了艾摩Elmo但让艾摩做出了S ∗ S_*S∗​标志性的盘腿坐姿。右下材质转换。提示词“CrochetS ∗ S_*S∗​”钩针编织的S ∗ S_*S∗​。结果AI生成了一个毛线编织的物品其形状、颜色和坐姿完全还原了原始雕塑但材质变为了钩针编织物。这张图片完美地诠释了如何让AI通过极少量的样本4张图学习一个特定、少见的主体概念并通过一个特殊的文字符号“S ∗ S_*S∗​”在后续的文字生成图片过程中自由调用极大地提升了AI在个性化创作和产品展示等方面的实用性。Pseudo-3D Attention文字生成影片的挑战一分钟的影片1440x64x64 5,898,240~600W个patchattention 每个 patch 互连600W x 600W 36万亿 36,000,000,000,000运算量太大了加速 attentionframe 左上角真的有必要和右下角计算 attention 吗每个 patch 都有必要计算 attention既考虑时间的 attention又考虑空间的attention叫 spatial-temporal-attention3D不考虑 frame 之间的只考虑单 frame 的spatial attention2D只考虑时间的 attentiontemporal attention1D可以空间 2D 时间上的 1D 构成伪 3D上图展示了在处理视频Video等时序数据时常用的一种伪 3D 注意力Pseudo-3D Attention机制。它的核心思想是将复杂的 3D 时空建模分解为两个更简单的 1D 和 2D 步骤以降低计算量。以下是该图各部分的详细解析1. 核心架构时空解耦图中的“伪 3D”Pseudo-3D 或 Divided Space-Time Attention是指不直接在一个三维空间内计算注意力而是分两步走Spatial Attention (2D) - 空间注意力作用对象在单帧图像内进行。原理模型只关注同一时间点同一帧内不同像素块Patches之间的关系。它学习的是每一帧里的物体长什么样、在哪里。Temporal Attention (1D) - 时间/时序注意力作用对象在不同帧之间进行。原理在提取了空间特征后模型关注同一个位置或相关位置在不同时间frame 1, frame 2, frame 3的变化。它学习的是物体的运动轨迹和动作逻辑。2. 为什么叫“伪” 3D在标准的 3D Attention或 3D CNN中模型会同时计算所有像素在所有时间点的相互关系计算复杂度是指数级增长的O ( ( T × H × W ) 2 ) O((T \times H \times W)^2)O((T×H×W)2)。伪 3D 的优势在于效率高通过先算空间再算时间将T × S T \times ST×S的复杂度拆分为T S T STS大大节省了显存和计算时间。易于训练可以先用静态图片预训练空间部分再在视频数据上微调时间部分。这张图描绘了 Transformer 如何高效地“看”视频先看清每一帧画面里有什么Spatial再串联起来看它们是怎么动的Temporal。这在目前的视频生成如 Sora 的底层架构或动作识别模型中非常常见。3D attention36 万亿 的运算2D attention 只需要约 240 亿1D attention 只需要约 85 亿运算计算量复杂度下降了千倍也可以分步骤一步一步生成每一步用小模型负责简单的功能可以更好更快的生成想要的结果eg调高分辨率、调高帧数Imagen Video这张图片展示了 Google 提出的Imagen Video模型架构它是一个典型的**级联扩散模型Cascaded Diffusion Models**流水线。这种设计的核心逻辑是“先求有再求好”——先生成低分辨率、低帧率的粗糙视频再通过一系列超分辨率模型逐步提升画质和流畅度。以下是具体的步骤解读1. 文本理解阶段Input Text Prompt: 用户输入的文本描述。T5-XXL (4.6B): 使用预训练的 T5-XXL 语言模型作为编码器将文字转换为高维向量。大参数量4.6B保证了模型能深刻理解复杂的语义指令。2. 基础视频生成 (Base Model)Base (5.6B): 这是流水线的起点。输出: 生成一个分辨率仅为16 × 40 × 24 16 \times 40 \times 2416×40×24T × H × W T \times H \times WT×H×W、帧率为3fps的极低画质视频。目的: 确定视频的整体构图、主旨和大致动作虽然模糊但建立了内容的基调。3. 时空交替提升 (TSR SSR)接下来的环节通过两种模型交替迭代TSR (Temporal Super-Resolution) - 时间超分辨率:作用: 增加视频的帧率即增加中间帧让动作更丝滑。示例: 从 3fps 提升到 6fps再到 12fps最后达到24fps。SSR (Spatial Super-Resolution) - 空间超分辨率:作用: 增加每一帧图像的分辨率即让画面更清晰、细节更丰富。示例: 分辨率从最初的40 × 24 40 \times 2440×24逐步增加到中间的320 × 192 320 \times 192320×192最后达到1280 × 768 1280 \times 7681280×768。4. 关键数据流路径图片中展示了一个循环递进的过程初始生成: 极小尺寸视频。第一轮增强: 经过 SSR1.4B和 SSR1.2B提升清晰度。时序插帧: 经过 TSR780M和 TSR630M将视频拉长增加流畅度。最终成片: 最后一级SSR (340M)将视频提升至高清分辨率 (1280x768)且保持24fps的电影级帧率。总结Imagen Video 的成功在于它将“文字生视频”这一高难度任务拆解成了多个子任务。与其一次性生成高清长视频计算量巨大且极难收敛不如通过多个专门优化的模型进行级联。这种**“金字塔式”**的生成策略是目前主流视频生成包括后续的很多架构的重要基石。参考https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.phphttps://www.bilibili.com/video/BV18fXbY6Eis/?spm_id_from333.1387.homepage.video_card.clickvd_source8e91f8e604278558ec015e749d1a3719