文献类型：期刊文章

作　　者：黄伟[1,3] 刘贵全[2,3]

HUANG Wei;LIU Guiquan(School of Data Science,University of Science and Technology of China,Hefei 230027,China;School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China;Anhui Province Key Laboratory of Big Data Analysis and Application,University of Science and Technology of China,Hefei 230027,China)

机构地区：[1]中国科学技术大学大数据学院,合肥230027 [2]中国科学技术大学计算机科学与技术学院,合肥230027 [3]中国科学技术大学大数据分析与应用安徽省重点实验室,合肥230027

出　　处：《计算机工程与应用》

基　　金：国家重点研发计划(2018YFB1801105)。

年　　份：2022

卷　　号：58

期　　号：15

起止页码：191-201

语　　种：中文

收录情况：AJ、BDHX、BDHX2020、CSCD、CSCD_E2021_2022、IC、JST、RCCSE、ZGKJHX、核心刊

摘　　要：层级多标签文本分类相比普通的多标签文本分类更具有挑战性,因为文本的多个标签组织成树状的层次结构。当前方法使用相同的模型结构来预测不同层级的标签,忽略了它们之间的差异性和多样性。并且没有充分地建模层级依赖关系,造成各层级标签尤其是下层长尾标签的预测性能差,且会导致标签不一致性问题。为了解决以上问题,将多任务学习架构引入,提出了MSML-BERT模型。该模型将标签结构中每一层的标签分类网络视为一个学习任务,通过任务间知识的共享和传递,提高各层级任务的性能。基于此,设计了多尺度特征抽取模块,用于捕捉不同尺度和粒度的特征以形成不同层级需要的各种知识。进一步,设计了多层级信息传播模块,用于充分建模层级依赖,在不同层级之间传递知识,以帮助下层任务。在该模块中,设计了层次化门控机制,为了过滤不同层级任务之间的知识流动。在RCV1-V2、NYT和WOS数据集上进行了充分的实验,结果显示该模型的总体表现尤其是在下层长尾标签上的表现超过了其他主流模型,并且能维持较低的标签不一致比率。

关 键 词：层级多标签文本分类  多任务学习架构  BERT  多尺度特征抽取模块  多层级信息传播模块  

分 类 号：TP391]