对比学习概念与如何标注标签

news2025/6/10 9:10:45

对比学习公式讲述

对比学习倾向于将同一图像的转换视图之间的一致性最大化,而将不同图像的转换视图之间的一致性最小化。令f_\phi(\cdot)是一个输出特征空间R^d的卷积神经网络。一个图像x的两个增广图像补丁通过
f_\phi(\cdot)进行映射,生成一个查询特征q和一个关键特征k。此外,使用其他图像的补丁生成一个包含数千个负特征\{v_n\}^Q_{n=1}的队列。

该队列既可以使用当前批处理中的所有图像在线生成[1],也可以使用最近几个epoch的存储特征离线生成[4]。给定q,对比学习的目标是识别数千个特征\{v_n\}_{n=1}^Q中的k,可以表示为:L(\textbf q,\textbf k,\{v_n\})=-log\frac{e^{sim(\textbf q,\textbf k)/\tau}}{e^{sim(\textbf q,\textbf k)/\tau}+\sum^Q_{j=1}e^{sim(\textbf q,v_j)/\tau}}

式中\tau为温度参数,sim(\cdot,\cdot)相似性度量。在Exemplar[5]中,为了“在弱利用标签信息的同时保留每个正实例的唯一信息”,将\{v_n\}_{n=1}^Q中与属于同一类\textbf q的所有样本都剔除。

什么是对比学习(无监督任务)

对比学习往往解决第一件事:在原始任务如何把特征提取的更好,encoder编码器,我们该如何设计。

有了标签,模型就会安装这个标签(一遍是人给的)为上限进行学习,但如果没有标签了,就相当于不设定上限了(但是有监督任务效果确实往往比无监督好,无简单经常出现不收敛的情况)

如何标注标签

SimCLR Framework

数据增强得越大(me:原始数据被干扰得越厉害),模型,即encoder的泛化能力越强(me:能够面对各种被损坏的数据也能识别出哪种类别)

下面的直方图的y轴指准确率

SimCSE Framework

对比学习的关键就是如何选择正样本

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1504215.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ospf静态路由实验简述

1、ospf静态路由实验简述 实验拓扑图 实验命令 r2: sys sysname r2 undo info enable int loopb 0 ip add 2.2.2.2 32 quit int e0/0/0 ip add 23.1.1.2 24 quit ospf 1 area 0 network 23.1.1.0 0.0.0.255 network 2.2.2.2 0.0.0.0 ret r3: sys sysname r3 undo info enable …

2024pytest自动化测试框架学习(二)

在自动化测试中,参数化非常常见。当你在测试某一个接口时,通常会给测试函数传递很多参数,达到遍历的目的。比如测试登录接口,我们需要模拟各种场景的账号密码。又如我们上一篇文章中介绍的获取天气接口,你需要验证很多…

面向切面编程(AOP)介绍(横切关注点、通知(增强)、连接切入点、切面)

1. 面向切面编程思想AOP AOP:Aspect Oriented Programming面向切面编程 AOP可以说是OOP(Object Oriented Programming,面向对象编程)的补充和完善。OOP引入封装、继承、多态等概念来建立一种对象层次结构,用于模拟公…

docker-swarm集群搭建

目录 一、docker swarm介绍 二、部署docker 三、搭建集群 3.1 工作模式 3.2 将当前主机作为leader 3.3 将第二个节点slave1加入到worker 3.4 将第三个节点slave2也加入到worker 3.5 将第四个节点(slave3)加入到manager 四、总结 一、docker swarm介绍 Docker Swarm…

解锁安卓开发利器:深度探析ADB【安卓开发】

引言 在安卓开发与维护过程中,我们经常会遇到一些限制,比如无法直接访问某些系统功能,或者在某些定制系统中 受到限制 。为了解决这些问题,我们需要一种有效的工具来管理和调试安卓设备,而这时候ADB(Andro…

如何变得心智成熟?我推荐你读这5本书

一个人若总是在底层混,说明他的脑子确实不怎么样,一群底层的人聚在一起就更完蛋。 变化是常态,成长是选择。无法否定过去相信的东西,是你最大的障碍。 今天,为大家推荐一份“心智书单”。 01 《打开心智》 李睿秋提…

《汇编语言》- 读书笔记 - 第16章-直接定址表

《汇编语言》- 读书笔记 - 第16章-直接定址表 16.1 描述了单元长度的标号(数据标号)检测点 16.1 16.2 在其他段中使用数据标号assume通过标号取地址检测点 16.2 16.3 直接定址表(Direct Addressing Table)例1分析代码效果 例2分析…

HPE ProLiant MicroServer Gen8驱动程序下载(windows)

记录下,以方便需要重装系统时将驱动更新到最后版本。 共有下面设备有适用的驱动可用: 1、系统管理: iLO 4 Channel Interface Driver for Windows Server 2016 下面这个驱动,安装后不知道有什么用 iLO 3/4 Management Control…

人力资源社会保障部教育部关于印发《关于深化中小学教师职称制度改革的指导意见》的通知

人力资源社会保障部、教育部印发 关于《深化中小学教师职称制度改革的指导意见》的通知 人社部发[2015]79号 各省、自治区、直辖市及新疆生产建设兵团人力资源社会保障厅(局)、教育部门(教委、教育局): 为深化教育…

java——枚举,lambda

文章目录 枚举的使用使用场景switch语句常用方法 lambdalambda的前置知识什么是函数式接口 lambda的基本语法lambda注意事项 枚举的使用 枚举是在JDK1.5以后引入的。主要用途是:将一组常量组织起来,在这之前表示一组常量通常使用定义常量的方 式 publi…

OpenCV学习笔记(四)——对视频的读取操作

目录 读取视频内容 将彩色视频转换为灰色视频 读取视频内容 读取视频文件通常分为读取文件、验证是否打开成功打开文件、逐帧读取视频文件、释放资源和关闭窗口 (1)读取文件 在OpenCV中,通常使用VedioCapture来读取视频流,Vedi…

Vue.js数据绑定解密:深入探究v-model和v-bind的原理与应用

hello宝子们...我们是艾斯视觉擅长ui设计和前端开发10年经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩! Vue.js数据绑定解密:深入探究v-model和v-bind的原理与应用 一、引言 Vue.…

OpenAI GPT LLMs 高级提示词工程方法汇总

原文地址:An Introduction to Prompt Engineering for OpenAI GPT LLMs Github:Prompt-Engineering-Intro 2023 年 3 月 2 日 Naive 提示词:带有提示的情感分类器 prompt Decide whether a Tweets sentiment is positive, neutral, or …

HashSet在添加元素时,是如何判断元素重复的?

前言:我们知道Set中所存储的元素是不重复的,那么Set接口的实现类HashSet在添加元素时是怎么避免重复的呢? HashSet在添加元素时,是如何判断元素重复的? ● 在底层会先调用hashCode(),注意,Obje…

anaconda问题合集

目录 一. 万分注意 二. ImportError: DLL load failed while importing _ctypes: 找不到指定的模块。 1. 发生情况 2. 导致结果和解决方法 三. WARNING: A newer version of conda exists. 1. 在conda install 某库的时候 2. 解决方法 一. 万分注意 不要轻易使用 conda …

英文版大宗现货商品挂牌交收系统

我们倾力打造了一款英文版大宗现货商品挂牌交收系统,旨在为全球贸易提供更为高效、便捷、安全的解决方案。 一、系统概述 英文版大宗现货商品挂牌交收系统是一款集商品信息发布、交易撮合、交收管理于一体的综合性平台。通过先进的互联网技术,我们实现…

JavaSE面试——Collection接口和Collections类

集合分为:Collection 和 Map 两个体系 java8为 Collection 的父接口( Iterable )提供了一个默认的 Foreach 方法,我们可以使用它进行集合遍历 1. Collection 接口 Collection接口是是Java集合类的顶级接口之一,Collection 接口有 3 种子类型…

海外媒体宣发套餐如何利用3种方式洞察市场-华媒舍

在当今数字化时代,媒体宣发成为了企业推广产品和品牌的重要手段之一。其中,7FT媒体宣发套餐是一种常用而有效的宣传方式。本文将介绍这种媒体宣发套餐,以及如何利用它来洞察市场。 一、关键概念 在深入讨论7FT媒体宣发套餐之前,让…

解决 matplotlib 中文显示乱码的问题

matplotlib 库默认只显示中文 例如: import matplotlib.pyplot as pltimg plt.imread(test.jpg)# plt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签 # plt.rcParams[axes.unicode_minus] False # 用来正常显示负号 #有中文出现的情况&#xf…

CrystalDiskInfo檢測機械硬盤黃色警告還能用嗎

下來看客戶寄來的這一顆日立1TB的舊硬碟。 ▲客戶的舊硬碟用CrystalDiskInfo檢測出現「05」黃色警告,這是什麼意思? 常見的黃色警告有三種:05、C5、C6 如果是05,硬碟通常還能用,但要非常小心,這一顆「很…