论文地址：https://arxiv.org/pdf/2303.14123.pdf

这是一篇2023年发表在CVPR上的论文，论文题目是Semantic Prompt for Few-Shot Image Recognitio，即用于小样本图像识别的语义提示。

1 Motivation

第一，最近几项研究利用 语义信息 来进行小样本学习的研究。 一方面因为通过少量样本去识别新类别很难，就想使用一些其他模态的信息辅助学习，文本特征可能包含新类和已知类之间的语义关系，所以是一个很好的选择。另一方面因为最近一些出现的强大的自然语言处理（NLP）模型能够从类别中提取出丰富且准确的文本信息。

第二，提出来的这些方法效果并不理想，模型仍然会受到从少量支持样本提取出来的 虚假特征的影响。 因为这些方法直接使用文本嵌入作为图像的分类器，比如 直接 从类名推断出文本原型然后与视觉分类器相结合，这忽略了文本特征和视觉特征之间的 信息差距，因此文本特征无法与视觉特征很好地交互，从而无法给新类别提供 具有判别性的视觉特征。

如图所示，输入一张独轮车的图像，特征提取器很容易受到背景杂波的影响，比如车上的女孩还有行人、瓦片等等，并且很有可能特征提取器无法识别其他环境中的独轮车，即无法学习到新类别的通用图像表示。

2 Idea

因此，本文提出了一种新的语义提示（SP）的方法，利用丰富的语义信息作为 提示 来 自适应 地调整视觉特征提取器。而不是将文本信息与视觉分类器结合来改善分类器。

本文设计了两种互补机制，将语义提示插入到特征提取器中：一种是通过 自注意力 在 空间维度 上实现 语义提示 和 patch嵌入 之间的交互，另一种是通过沿 通道维度 转换后的语义提示来 补充视觉特征。

通过结合这两种机制，特征提取器提取出具有判别性的与类相关(特定类别) 的特征，并仅用几个支持样本就可以获得 更通用的图像表示。

3 Methods

3.1 训练方法

本文提出的方法包括两个训练阶段：
步骤一采用non-episodic training方法，预训练特征提取器 f 通过分类基类中所有的图像。
步骤二采用元训练范式，使用语义提示(SP) 在大量episodes中 微调特征提取器 f ，使 f 能够在新类中提取出通用和与类相关的视觉特征表示。

3.2 预训练

主干网络采用 Visformer 。它用卷积块替换了前七个 Transformer 层，并在每个阶段之间采用池化以减少序列长度，从而降低计算成本。计算成本和序列长度成正比。

损失函数采用 标准交叉熵损失。目的使其最小化。

其中W表示分类器，b表示偏差。

具体的训练过程：
第一步，输入图像$x\in {\mathbb{R}}^{H\times W\times C}$先被划分为 M 个patches序列 $X=\left\{x_p^{1}x,x_p^2......x_p^M\right\}$,其中 $x_p^i\in {\mathbb{R}}^{P\times P\times C}$是一个patch，P 是patch大小。
第二步，每个patch被映射到一个嵌入向量中，并添加一个可学习的位置嵌入。经过预处理的图像patches可以写为：$Z_0=[z_0^1,z_0^2......,z_0^M]$，其中 $z_0^i\in {\mathbb{R}}^{C_z}$是第0层Transformer中位置为 i 的patch token，$C_z$是每个token（标记）的通道数。
第三步，Patch 标记被送入 L 个 Transformer 层以提取视觉特征，每一层都由多头自注意力 (MSA)、MLP 块、层规范 (LN) 和残差连接组成。在顶层L，我们 平均 序列中所有的嵌入向量 作为提取的图像特征：

其中 $z_L^i$ 是第 L 层的第 i 个嵌入向量

3.3 语义提示

首先，使用具有大规模预训练的 NLP 模型从类名中提取文本特征

具体的训练步骤，如图所示：
第一步，在一个训练episode中，给定一个支持图像$x^s$，我们将其类名 $y^{text}$输入预训练语言模型 $g(\cdot )$以提取语义特征，即 $g(y^{text})$。
第二步，特征提取过程：$f_g\left(x^s\right)=f\left(x^s|g\left(y^{text}\right)\right)$
第三步，将每个类中的支持特征平均得到 原型 ，设$p_i$表示类别 i 的原型，则:

其中 $x_j^s$是第 i 类的第 $j^{th}$支持图像。
第四步，在元训练期间，冻结文本编码器 g(·) 并微调其他参数，通过使用 交叉熵损失 来最大化查询样本与其原型之间的特征相似性 :

其中 s 表示余弦相似度，$p_{y^q}$是类 $y^q$ 的原型，τ 是温度超参数。

3.3.1 空间维度的交互

为了促进空间维度上的交互，本文使用语义提示 扩展 图像patch序列 后再提供给 Transformer 编码器。通过自注意层，语义提示可以使特征提取器注意到与类相关的特征，同时抑制其他不相关特征。

给定语义特征 $g(y^{text})$ 和第 l 层的patch嵌入的输入序列 $Z_{l-1}=\left[z_{l-1}^1,z_{l-1}^2,\dots ,z_{l-1}^M\right]\in {\mathbb{R}}^{M\times C_z}$

使用 投影后的语义特征 扩展$Z_{l-1}$ 获得一个新序列 ${\hat{z}}_{l-1}$ ∈ ${\mathbb{R}}^{(M+1)\times C_z}$ ：

其中 $z^0=h_s(g((y^{text}))\in {\mathbb{R}}^{C_z}$ 是空间交互的投影语义嵌入，$h_s(\cdot )$是保持语义嵌入维度与patch嵌入相同的投影器。

然后，扩展序列 ${\hat{z}}_{l-1}$被送到其他Transformer 层以允许语义提示和patch标记之间沿空间维度的交互。

具体来说：
第一步，MSA将${\hat{z}}_{l-1}$中的每个标记通过线性投影映射到三个向量 $q,k,v\in {\mathbb{R}}^{N_h\times \left(M+1\right)\times C_z}$

其中$N_h$是注意头数，$C_h$是每个注意头的通道数。

第二步，计算q 和 k 的内积并沿空间维度执行 softmax 来计算注意力权重 $A$ ∈ ${\mathbb{R}}^{N_h\times (M+1)\times (M+1)}$

注意力权重用于选择和聚合来自不同位置的信息。

第三步，通过相加连接所有头的输出并通过线性投影得到最终输出

3.3.2 通道维度的交互

对于通道维度上的交互，本文首先将语义提示与从 所有patches中提取的视觉上下文 连接起来，然后将它们提供给 MLP 模块（多层感知机）。将 提取的特征向量 添加到每个patch标记中，以 逐个通道地 调制和增强视觉特征。

首先获得全局视觉上下文向量$z_{l-1}^C\in {\mathbb{R}}^{C_z}$, 通过对所有patch 标记进行平均:

将视觉上下文 $Z_{l-1}^c$ 与投影语义向量$z^0$连接起来，送入 2 层 MLP 模块以获得调制向量 ${\beta }_{l-1}\in R^{C_z}$:

其中 $W_1、b_1、W_2、b_2$是 MLP 模块的参数，σ 是 sigmoid 激活函数，$h_c$是通道交互的投影器。

最终将调制向量添加到所有patch 标记，以便它可以调整每个通道的视觉特征。

调制序列${\tilde{Z}}_{l-1}\in {\mathbb{R}}^{M\times C_z}$ 可以写成:

4 Results

1-shot上由明显提升，CLIP为文本编码器

消融实验