文章目录摘要abstract一、mclip的论文-Multilingual CLIP via Cross-lingual Transfer-23.二、实践总结摘要围绕多语言图文检索模型mCLIP论文展开学习论文提出了一种多语言视觉-语言预训练模型。核心创新在于通过三角形跨模态知识蒸馏TriKD将冻结的CLIP图像编码器与增强后的多语言文本编码器XLM-R对齐。该方法仅训练少量新增投影层高效地实现了多语言对齐。为提升XLM-R的检索能力论文进一步设计了结合神经机器翻译和对比损失的两阶段增强方案强化了token级与句子级的跨语言表示。在实践环节将mCLIP迁移至多模态推荐任务在Amazon三个子数据集上进行了验证。实验复现了BPR、LightGCN及多模态VBPR作为基线。初步结果表明该模型结构在推荐场景中具备可行性整体性能符合预期为后续工作提供了基础。abstractThis paper focuses on the multilingual image-text retrieval model mCLIP, proposing a multilingual vision-language pre-trained model. The core innovation lies in aligning the frozen CLIP image encoder with the enhanced multilingual text encoder XLM-R through Triangular Cross-Modal Knowledge Distillation (TriKD). This method trains only a few additional projection layers, efficiently achieving multilingual alignment. To improve the retrieval capability of XLM-R, the paper further designs a two-stage enhancement scheme combining neural machine translation and contrastive loss, strengthening token-level and sentence-level cross-lingual representations.In the practical application, mCLIP is transferred to a multimodal recommendation task and validated on three Amazon datasets. Experiments reproduce BPR, LightGCN, and multimodal VBPR as baselines. Preliminary results show that the model structure is feasible in recommendation scenarios, with overall performance meeting expectations, providing a foundation for future work.一、mclip的论文-Multilingual CLIP via Cross-lingual Transfer-23.检索高效的双流多语言VLP模型通过一种新颖的三角形跨模态知识蒸馏TriKD方法通过对齐CLIP模型和多语言文本编码器MTE进行训练。避免灾难性遗忘预训练CLIP和MTE中已学习的知识它们在训练过程中保持冻结。三角形对齐通过调整CLIP顶部的线性投影器和MTE顶部的浅层基于Transformer的X投影器来实现。由于用于初始化MTE的XLM-R在直接用于检索任务时表现不佳在执行TriKD之前建议通过机器翻译任务和对比损失来增强MTE以改进token级和句子级的多语言表示。图像-文本对比损失。ITC图像到文本损失和文本到图像损失的平均值。文本-文本对比损失。TTC损失:CLIP文本特征到XLM-R特征以及反之两个方向对比损失的平均值。非英语图像-文本对的训练仅应用ITC损失因为CLIP文本编码器不支持非英语语言。视觉变换器ViT被用作一种CLIP图像编码器它将图像块作为输入并通过基于Transformer的模型生成最终特征。在图像块之前添加额外的[cls]令牌其在最后一个Transformer层的输出代表图像的全局特征。不是使用原始CLIP的英语文本编码器而是使用具有增强token级和句子级跨语言表示的多语言编码器XLM-R。冻结CLIP的图像和文本编码器的参数并在它们顶部使用共享的线性投影即CLIP投影器。保持XLM-R已学习的多语言性冻结参数并通过优化可学习的X投影器将其对齐到CLIP的多模态空间该投影器由两个随机初始化的XLM-R Transformer层组成。多语言文本编码器在纯文本多语言平行语料库上通过神经机器翻译NMT任务和对比学习来增强XLM-R不同语言之间用于检索任务的token级和句子级对齐。NMT解码器通过与编码器输出的token级交互生成语义等价的翻译鼓励编码器输出保持细粒度的token级信息在TriKD期间训练X投影器时需要因为是基于token级输入训练的。另一方面对比损失通过显式对齐平行句子的句子级表示来受益于跨语言迁移。采用两阶段训练计划以避免灾难性遗忘预训练XLM-R编码器的强大多语言性。在联合训练NMT和对比损失之前。在第一阶段在平行文本语料库上用NMT任务冻结编码器并训练该解码器注意所有嵌入都用XLM-R初始化并始终保持固定。记x i x_ixi​和y i y_iyi​为一批N个配对句子中的第i ii个源句和目标句∥ y i ∥ \|y_i\|∥yi​∥是句子y i y_iyi​的长度NMT损失可公式化为在第二阶段用NMT和对比损失同时微调XLM-R编码器和解码器图2b。注意不微调嵌入经验上没有观察到进一步的改进。对于第i iii个句子对记h i S h_i^ShiS​、h i O h_i^OhiO​为最后一个编码器层源句和目标句所有token的平均表示。记h S { h i S } i 1 N h^S \{h_i^S\}_{i1}^NhS{hiS​}i1N​对比损失和训练损失为α \alphaα是平衡两个损失项的权重在实验中设置为α 2.0 \alpha 2.0α2.0。ℓ ( ⋅ , ⋅ ) \ell(\cdot, \cdot)ℓ(⋅,⋅)是定义的对比损失。在第二阶段计算对比损失时选择所有token的平均表示作为句子级文本特征而不是[eos]特征因为前者在跨模态检索任务中经验上表现更好。推测这是因为X投影器使用来自MTE的token级输出而不是[eos]表示来学习图像和文本之间的对齐。Multi30K和MSCOCO上零样本和微调的跨模态检索结果。全语言微调对于mCLIP和mCLIP都具有最高的平均召回分数。推测这是因为具有多种语言的图像-文本对允许投影器显式学习多语言多模态对齐而不是依赖嵌入在MTE中的隐式多语言性。在CC3M上预训练的mCLIP进行消融研究并报告零样本多语言图像-文本检索任务的结果。在TriKD中图像-文本和文本-文本对比损失都对性能有积极贡献且图像-文本对比损失L I T C \mathcal{L}_{ITC}LITC​\mathcal{L}_{ITC}对检索性能更为关键。在增强MTE的学习中对比损失和NMT损失都提高了非英语语言的性能。然而NMT损失提高了英语图像-文本检索而对比损失降低了它。推测是因为NMT损失允许MTE学习更细粒度的token级文本表示并促进依赖于这些token级输入的X投影器的学习。结论mCLIP一种新颖的多语言视觉-语言预训练模型通过三角形跨模态知识蒸馏对齐CLIP和增强的多语言文本编码器。这种蒸馏方法在参数上是高效的仅训练mCLIP总参数的3%并且在数据上是高效的仅需英语图像-文本对。通过使用来自更多语言的更多平行文本语料库和来自翻译训练流程的多语言图像-文本对可以进一步提高mCLIP的性能。实证表明提出的mCLIP在多语言图像-文本检索任务上达到了最先进性能。23年二、实践在多模态推荐方面在amazon_clothing,baby,sports上跑。验证了基线模型跑了BPR和lightGCN以及多模态的VBPR。结果方面在数据集上符合相关基线模型的一般性能。总结在本周的工作中学习多模态与推荐算法的结合是主线同时关于基线模型代码实践方面的工作占据更多的时间实验的复现与学习对以后很有帮助。