HittER: Hierarchical Transformers for Knowledge Graph Embeddings

HittER由两部分组成：
1，底部：Entity Transformer 源实体的局部邻居的每个实体-关系对的特征提取。负责将实体关系对中所有有用特征打包成向量，以供顶部块使用。底部输入是随机初始化的源实体embedding，关系embedding，和一个特殊的[CLS]；令牌embedding
2，顶部：context Transformer 从底部的输出聚合关系信息。其输入是来自底部的输出和一个特殊的[GCLS]embedding.对于连接预测的交叉熵损失函数此时为：

作者进一步设计了一个掩码实体预测任务，以平衡来自关系上下文和源实体本身的信息。
具体的HittER模型如下图所示：

该模型中还存在下面两个问题：
1，由于源实体通常包含用于连接预测的高质量信息，并且学习从广泛地噪声上下文中提取有用的信息需要大量的努力，因此模型可以简单的学习忽略附加的上下文信息。
2，引入丰富的上下文信息可能会反过来降级源实体的信息，并包含虚假的相关性，这可能导致我们的观察过拟合。
为了解决上述的两个问题，作者还提出了MEP来平衡源实体的利用率和图形上下文语境化过程。
为了解决第一个问题：我们对每个训练示例的源实体应用掩码策略—随机选择一批训练样本的比例，在一定的概率下，用特殊的掩码令牌来替换输入源实体。这些扰动的目的是向来自源实体的信息引入额外的噪声来增强模型学习上下文的表达。
为了解决第二个问题：我们训练模型以基于附加上下文信息恢复受干扰的源实体。我们使用对应于源实体Tesrc的输出embedding来通过分类层预测正确的源实体。
交叉熵损失函数更新如下：