通过对比不同的聚类分配实现深度多视图聚类摘要深度学习在大规模多视图聚类上表现好但是该领域如何学习不同视图的潜在表示仍是一个问题。作者认为不同视图之间应该对齐的不是中间层特征而是最后的聚类分配结果。因此提出 CVCL通过对比不同视图的 cluster assignments 来学习视图不变表示并在实验中取得较好效果。1、引言多视图聚类加数据介绍——传统方法分类及局限性——现有深度学习方法的不足不同视图最后给出的聚类语义判断是否一致——对比学习结合到深度学习中有的方法通过约束不同数据的分配一致性来学习特征有的在不同层级的特征上进行对学习因此本文提出一个问题什么表示应该在多个视图之间保持不变——本文方法不同视图的样本维护一个聚类分配的K维向量表示这个数据更有可能属于哪个类别。在这个过程中正样本对之间的聚类分配应该拉近不同簇对应的“聚类分配向量”之间要拉开。提出了一种 CVCL 模型该模型包含一个两阶段训练方案能够以端到端的方式学习视图不变表示。通过对比多个视图之间的聚类分配提出了一种簇级别的 CVCL 策略用于挖掘一致的语义标签信息。本文对所产生的视图不变表示之间的对齐进行了理论分析解释了为什么 CVCL 模型能够在特定条件下有效工作。在七个多视图数据集上的大量实验结果证明了所提出 CVCL 方法的有效性。2、相关工作2.1 多视图聚类基于自编码器的重构误差学习一个潜在表示然后在这个潜在表示上做聚类优化。以DEC举例用学到的特征表示计算每个样本到聚类中心的距离得到一个软分配Q再把这个软分配做尖锐化处理得到P计算Q和P之间的KL散度。autoencoder 先学一个还不错的表示空间K-means 在这个空间里初始化簇中心然后网络特征 ziz_izi​ 和聚类中心 μj\mu_jμj​ 一起通过 KL 损失继续优化。P 是把当前预测中相对可信的部分放大作为下一步优化的伪目标。聚类中心 μ 是怎么来的 答预训练自编码器 → 在潜在空间用 K-means 初始化 K 个中心 → 这些中心成为可学习参数和 encoder 一起被 KL 损失训练时更新。P 只是 Q 的锐化KL(P||Q) 有啥用 答P 不只是锐化还做了簇平衡除以 f_j。最小化 KL(P||Q) 等于让模型更自信 让簇大小更均衡。这是一个自举机制用当前模型的预测当目标但加入平衡这个先验。整个机制把表示空间塑造成 K 个紧凑均衡的团块。2.2对比学习基于对比学习的方法本质上依赖于多个不同的成对表示比较。正样本对应该靠近。比如同一样本的两个增强视图表示应该接近。所有样本的表示不能塌缩到一起而应该在表示空间中尽量分散。不能把所有表示学的很一致一致到看起来只有一个类别这就是负样本对的作用负样本对有这个作用但是还是加了防塌缩项3、所提方法3.1 问题定义就是说明数据表示的符号3.2 网络结构分为两大模块自编码器encoder学习特征用于跨视图对比decoder重构数据保证数据分布跨视图对比模块正向样本拉近负向推远防塌缩损失3.3 簇级别跨P这个矩阵构造的方式还是有点没理解透彻只知道大概是对H的尖锐化处理做的是P这个矩阵列向量的对比损失正样本对是不同视图下同一列的数据负样本对是所有视图内与其他列簇的数据。所以定义跨视图的损失函数是然后计算所有视图之间的对比损失l(v1,v2)和l(v2,v1)会重复计算所以有除以二的操作。防塌缩正则项明明已经有负样本对了为啥还要加一个防塌缩项qj的取值小于等于1所以La是负数的形式我理解这个正则项不会让样本都塌缩在一个簇里面给的解释也只说了这个但是还是没理解为啥可以让簇分布更加均匀。是不是可以再加一个约束项