驯服Transformer百万级别文本分类新方法新方法在保持模型规模可控的同时实现了最先进的分类效果。在自然语言理解领域文本分类是最基础的任务。例如用户向某智能助手发出的请求需要按领域进行分类如天气、音乐、智能家居、信息查询等。同时许多自然语言处理应用也依赖于词性标注解析器。对于类别数量较少的任务性能最佳的文本分类系统通常使用预训练的Transformer模型如BERT、XLNet和RoBERTa。然而基于Transformer的模型其计算复杂度随输入序列长度呈平方级增长随类别数量呈线性增长。对于拥有数十万甚至数百万类别的大规模任务即“极端分类”这类模型会变得庞大到不切实际。在即将于今年举行的计算机协会知识发现与数据挖掘年度会议KDD上发表的论文中研究团队描述了一种将基于Transformer的模型应用于大规模文本分类即极端分类的新方法。该模型在类别数量增加时规模增长合理。实验表明在为给定输入选择相关类别的任务中该方法在四个不同数据集上的表现均优于现有最先进系统。爆炸式增长的分类器通常对于自然语言处理任务基于Transformer的模型会在大型通用文本语料库上进行预训练学习语言的词嵌入或向量表示使得相关词汇在向量空间中聚集在一起。这些嵌入随后作为输入输入到针对特定任务训练的新分类器中。无论任务如何Transformer模型本身的大小是固定的通常在3.5亿个参数左右参数指神经网络中单个连接边的权重。研究中考虑了通用语言理解评估GLUE基准的一个组成部分——多类型自然语言推理MLNI语料库该语料库包含具有三种可能逻辑关系蕴涵、矛盾或中立的句子对。训练一个识别这三种关系的分类器仅为模型增加约2000个参数影响微乎其微。同时研究也考虑了一个内部系统该系统根据商品标题为某电商平台新增商品推荐可能的关键词。该系统涉及约一百万个商品类别。训练一个将商品名称分类到这百万个类别的分类器会给模型增加超过十亿个参数使其规模扩大近四倍训练和部署效率大大降低。为解决此问题研究团队训练基于Transformer的模型将每个输入分配到一个类别簇而非单个类别。然后使用一个简单的线性分类器从该簇中选出最终的具体类别。这种方法在保持分类精度的同时显著减小了基于Transformer的模型的规模。为了在保留Transformer优势的同时实现合理规模扩展该方法使用Transformer模型将每个输入分配到一个标签簇然后通过一个更简单的线性分类器从簇中选出最终标签。研究团队实验了两种不同的类别聚类方法。一种方法使用预训练的XLNet模型产生的嵌入将向量空间中彼此接近的类别名称聚类在一起。对于由多个词组成的类别名称则通过对其组成词的嵌入取平均来表示。另一种方法则嵌入每个类别的样本输入而不仅仅是类别名称。同样通过对输入文本中各个词的嵌入取平均得到每个输入文本的单一嵌入然后对属于同一类别的所有输入文本的嵌入取平均为该类别生成一个嵌入。实验表明结合这两种方法进行类别聚类效果优于单独使用任何一种。但模型本身并不依赖于特定的类别聚类技术。为了从类别簇中选出最终类别模型采用了一对其余分类器。对于簇内的每个类别该分类器学习在嵌入空间中将其成员与非成员分开。每个类别的分类边界可能不够精确但多个分类边界相交的区域可以精确地定位到单个类别。负例构建学习分类边界既需要正例也需要负例。研究采用两种不同的方法构建负例。首先对于簇内的每个类别从同一簇内的其他类别中抽取负例。由于同一簇内的类别在语义上相关这能确保负例具有挑战性因此对分类器的信息量比简单负例更大。其次利用基于Transformer的聚类模型来识别具有挑战性的负例。对于每个输入基于Transformer的模型会生成一个按概率排序的候选簇列表。对于特定类别的正训练样本找出模型持续以高概率预测的错误簇。然后以这些簇为基础根据概率得分加权构建额外的负例。在实验中研究团队将该系统与九个基准系统在四个不同的数据集上进行了比较。在识别给定输入的最佳单一分类标签的任务中该系统在所有数据集上均实现了最高的准确率。与排名第二的最新系统AttentionXML相比领先幅度约为1%。在一个数据集上对于识别前三和前五标签的任务AttentionXML的准确率略高。但值得注意的是AttentionXML采用的某些技术与本系统的方法是互补的未来探索结合这两种方法有望进一步提升性能。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享