Prompt Tuning 损失函数与反向传播原理解析
在Transformers中，Prompt Tuning是一种轻量级参数高效微调方法，其核心思想是只训练额外添加的提示词向量(prompt embeddings)，而冻结预训练模型的主体参数。
损失函数设计
Prompt Tuning的损失函数与标准的语言模型训练类似，主要基于交叉熵损失：
-
对于生成任务（如文本生成、摘要）：
L = -1/N ∑ log P(y_i | [P;x])其中[P;x]表示原始输入x前拼接上可训练的提示P，y_i是目标词，N是序列长度。
-
对于分类任务（如情感分析、文本分类）：
L = - ∑ y_true * log(softmax(cls([P;x])))其中cls()表示取[CLS]标记的输出，y_true是真实标签分布。
反向传播机制
Prompt Tuning的反向传播有两个关键特点：
- 参
