推荐指数: #paper/⭐
 发表于: CIKM22
一句话总结:本文通过重构相似性矩阵来生成两种特征增强方法.通过对比学习来进行训练.值得一题的一点是他在对比学习中,用了X得到的特征和AX的对比.还是有一丢丢创新性的

主要工作:
图增强
特征相似矩阵
 
      
       
        
         
          
          
            S 
           
          
            ~ 
           
          
          
          
            i 
           
          
            j 
           
          
         
           F 
          
         
        
          = 
         
        
          cos 
         
        
           
         
         
         
           ( 
          
          
          
            x 
           
          
            i 
           
          
         
           , 
          
          
          
            x 
           
          
            j 
           
          
         
           ) 
          
         
        
          = 
         
         
          
           
           
             x 
            
           
             i 
            
           
          
            ⋅ 
           
           
           
             x 
            
           
             j 
            
           
          
          
          
            ∣ 
           
           
           
             x 
            
           
             i 
            
           
          
            ∣ 
           
           
           
             ∣ 
            
            
            
              x 
             
            
              j 
             
            
           
             ∣ 
            
           
          
         
        
          , 
         
        
       
         \widetilde{S}_{ij}^F=\cos\left(x_i,x_j\right)=\frac{x_i\cdot x_j}{|x_i|\left|x_j\right|}, 
        
       
     S 
             ijF=cos(xi,xj)=∣xi∣∣xj∣xi⋅xj,
 其中,x是原始特征
参数化相似性矩阵
 
      
       
        
         
          
          
            S 
           
          
            ~ 
           
          
         
           L 
          
         
        
          = 
         
        
          cos 
         
        
           
         
         
         
           ( 
          
          
          
            E 
           
          
            S 
           
          
         
           , 
          
          
          
            E 
           
          
            S 
           
          
            ⊤ 
           
          
         
           ) 
          
         
        
       
         \tilde{S}^L=\cos{(E_S,E_S^\top)} 
        
       
     S~L=cos(ES,ES⊤)
  
      
       
        
         
         
           E 
          
         
           S 
          
         
        
          = 
         
        
          σ 
         
         
         
           ( 
          
          
          
            E 
           
          
            S 
           
           
           
             ( 
            
           
             l 
            
           
             − 
            
           
             1 
            
           
             ) 
            
           
          
         
           ⊙ 
          
          
          
            W 
           
          
            S 
           
           
           
             ( 
            
           
             l 
            
           
             ) 
            
           
          
         
           ) 
          
         
        
          , 
         
        
       
         \mathbf{E}_S=\sigma\left(\mathbf{E}_S^{(l-1)}\odot\mathbf{W}_S^{(l)}\right), 
        
       
     ES=σ(ES(l−1)⊙WS(l)),
 其中, 
     
      
       
        
        
          E 
         
        
          s 
         
         
         
           ( 
          
         
           0 
          
         
           ) 
          
         
        
       
         = 
        
       
         X 
        
       
      
        E_{s}^{(0)}=X 
       
      
    Es(0)=X(即原始特征矩阵), 
     
      
       
       
         ⊙ 
        
       
      
        \odot 
       
      
    ⊙是hadamard积. 
     
      
       
       
         σ 
        
       
      
        \sigma 
       
      
    σ表示非线性操作
重构相似性矩阵
 
      
       
        
         
          
          
            A 
           
          
            ~ 
           
          
          
          
            i 
           
          
            j 
           
          
         
        
          = 
         
         
         
           { 
          
          
           
            
             
              
               
                
                
                  S 
                 
                
                  ~ 
                 
                
                
                
                  i 
                 
                
                  j 
                 
                
               
                 ∗ 
                
               
              
                , 
               
              
             
            
            
             
              
               
                
                
                  S 
                 
                
                  ~ 
                 
                
                
                
                  i 
                 
                
                  j 
                 
                
               
                 ∗ 
                
               
              
                ∈ 
               
              
                k 
               
               
               
                 ( 
                
                
                 
                 
                   S 
                  
                 
                   ~ 
                  
                 
                
                  i 
                 
                
                  ∗ 
                 
                
               
                 ) 
                
               
              
             
            
           
           
            
             
              
              
                0 
               
              
                , 
               
              
             
            
            
             
              
               
                
                
                  S 
                 
                
                  ~ 
                 
                
                
                
                  i 
                 
                
                  j 
                 
                
               
                 ∗ 
                
               
              
                ∉ 
               
              
                k 
               
               
               
                 ( 
                
                
                 
                 
                   S 
                  
                 
                   ~ 
                  
                 
                
                  i 
                 
                
                  ∗ 
                 
                
               
                 ) 
                
               
              
             
            
           
          
         
        
       
         \tilde{A}_{ij}=\begin{cases}\tilde{\mathrm{S}}_{ij}^*,&\tilde{\mathrm{S}}_{ij}^*\in k\left(\tilde{\mathrm{S}}_i^*\right)\\0,&\tilde{\mathrm{S}}_{ij}^*\notin k\left(\tilde{\mathrm{S}}_i^*\right)\end{cases} 
        
       
     A~ij=⎩ 
              ⎨ 
              ⎧S~ij∗,0,S~ij∗∈k(S~i∗)S~ij∗∈/k(S~i∗)
  
     
      
       
       
         k 
        
       
         ( 
        
       
         ⋅ 
        
       
         ) 
        
       
      
        k(\cdot) 
       
      
    k(⋅)代表与节点i相连的top-k近的节点集.
数据增强
 
      
       
        
         
         
           A 
          
         
           ~ 
          
         
        
          = 
         
        
          A 
         
        
          ⊙ 
         
         
         
           M 
          
         
           E 
          
         
        
       
         \widetilde{A}=A\odot M_{\mathbf{E}} 
        
       
     A 
            =A⊙ME
 其中, 
     
      
       
        
        
          M 
         
        
          E 
         
        
       
      
        M_{E} 
       
      
    ME通过 
     
      
       
        
        
          p 
         
        
          E 
         
        
       
      
        p_{E} 
       
      
    pE二项式分布得到
  
      
       
        
         
         
           X 
          
         
           ~ 
          
         
        
          = 
         
        
          X 
         
        
          ⊙ 
         
         
         
           M 
          
         
           F 
          
         
        
          , 
         
        
       
         \widetilde{X}=X\odot M_{\mathbf{F}}, 
        
       
     X 
            =X⊙MF,
对比框架
编码器
 
      
       
        
         
         
           H 
          
         
           ~ 
          
         
        
          = 
         
        
          σ 
         
        
          ( 
         
         
         
           X 
          
         
           ~ 
          
         
         
         
           W 
          
         
           1 
          
         
        
          ) 
         
         
         
           W 
          
         
           2 
          
         
        
       
         \tilde{H}=\sigma(\tilde{X}W_1)W_2 
        
       
     H~=σ(X~W1)W2
 (可以理解为两层mlp)
  
      
       
        
         
         
           L 
          
         
           O 
          
         
        
          = 
         
         
          
           
            
            
              ∥ 
             
             
              
              
                H 
               
              
                ~ 
               
              
             
               1 
              
             
            
              − 
             
             
              
              
                H 
               
              
                ~ 
               
              
             
               2 
              
             
            
              ∥ 
             
            
           
             F 
            
           
             2 
            
           
          
            ⏟ 
           
          
          
          
            L 
           
           
           
             i 
            
           
             n 
            
           
             v 
            
           
          
         
        
          + 
         
         
          
           
           
             λ 
            
            
            
              ( 
             
             
              
              
                ∥ 
               
               
                
                
                  H 
                 
                
                  ~ 
                 
                
               
                 1 
                
               
                 ⊤ 
                
               
               
                
                
                  H 
                 
                
                  ~ 
                 
                
               
                 1 
                
               
              
                − 
               
              
                I 
               
              
                ∥ 
               
              
             
               F 
              
             
               2 
              
             
            
              + 
             
             
              
              
                ∥ 
               
               
                
                
                  H 
                 
                
                  ~ 
                 
                
               
                 2 
                
               
                 ⊤ 
                
               
               
                
                
                  H 
                 
                
                  ~ 
                 
                
               
                 2 
                
               
              
                − 
               
              
                I 
               
              
                ∥ 
               
              
             
               F 
              
             
               2 
              
             
            
              ) 
             
            
           
          
            ⏟ 
           
          
          
          
            L 
           
           
           
             d 
            
           
             e 
            
           
             c 
            
           
          
         
        
          , 
         
        
       
         \mathcal{L}_{O}=\underbrace{\left\|\tilde{H}_1-\tilde{H}_2\right\|_F^2}_{\mathcal{L}_{inv}}+\underbrace{\lambda\left(\left\|\tilde{H}_1^\top\tilde{H}_1-I\right\|_F^2+\left\|\tilde{H}_2^\top\tilde{H}_2-I\right\|_F^2\right)}_{\mathcal{L}_{dec}}, 
        
       
     LO=Linv 
                   
                   
                   
                          H~1−H~2 
                          F2+Ldec 
                   
                   
                  λ( 
                           H~1⊤H~1−I 
                           F2+ 
                           H~2⊤H~2−I 
                           F2),
  
      
       
        
         
         
           L 
          
         
           N 
          
         
        
          = 
         
        
          − 
         
         
         
           ∑ 
          
          
          
            r 
           
          
            = 
           
          
            1 
           
          
         
           R 
          
         
         
         
           E 
          
          
           
           
             v 
            
           
             i 
            
           
          
            ∈ 
           
          
            V 
           
          
         
         
         
           ∣ 
          
         
           log 
          
         
            
          
          
           
           
             exp 
            
           
              
            
            
            
              ( 
             
            
              ⟨ 
             
             
              
              
                s 
               
              
                ~ 
               
              
             
               i 
              
             
               r 
              
             
            
              , 
             
             
              
              
                h 
               
              
                ~ 
               
              
             
               i 
              
             
            
              ⟩ 
             
            
              / 
             
            
              τ 
             
            
              ) 
             
            
           
           
            
            
              ∑ 
             
             
              
              
                v 
               
              
                k 
               
              
             
               ∈ 
              
             
               V 
              
             
            
           
             exp 
            
           
              
            
            
            
              ( 
             
            
              ⟨ 
             
             
              
              
                h 
               
              
                ~ 
               
              
             
               k 
              
             
            
              , 
             
             
              
              
                h 
               
              
                ~ 
               
              
             
               i 
              
             
            
              ⟩ 
             
            
              / 
             
            
              τ 
             
            
              ) 
             
            
           
          
         
           ∣ 
          
         
        
          , 
         
        
       
         \mathcal{L}_N=-\sum_{r=1}^R\mathbb{E}_{v_i\in\mathcal{V}}\left|\log\frac{\exp\left(\langle\tilde{s}_i^r,\tilde{h}_i\rangle/\tau\right)}{\sum_{v_k\in\mathcal{V}}\exp\left(\langle\tilde{h}_k,\tilde{h}_i\rangle/\tau\right)}\right|, 
        
       
     LN=−r=1∑REvi∈V 
              log∑vk∈Vexp(⟨h~k,h~i⟩/τ)exp(⟨s~ir,h~i⟩/τ) 
              ,
 其中, 
     
      
       
        
         
         
           s 
          
         
           ~ 
          
         
        
          i 
         
        
          r 
         
        
       
         = 
        
        
        
          γ 
         
        
          r 
         
        
        
        
          ( 
         
         
          
          
            A 
           
          
            ~ 
           
          
         
           r 
          
         
         
          
          
            h 
           
          
            ~ 
           
          
         
           i 
          
         
        
          ) 
         
        
       
      
        \tilde{s}_i^r=\gamma_r\left(\tilde{A}^r\tilde{h}_i\right) 
       
      
    s~ir=γr(A~rh~i).这样,这个式子就相当于X和AX的对比了. 
     
      
       
        
         
         
           s 
          
         
           ~ 
          
         
        
          r 
         
        
       
      
        \tilde{s}^r 
       
      
    s~r代表节点v的自适应r跳邻居表征 
     
      
       
        
        
          γ 
         
        
          r 
         
        
       
      
        \gamma_{r} 
       
      
    γr表示r层的自适应参数.



















