文献类型：期刊文章

作　　者：杨长沛[1] 廖列法[1,2]

YANG Changpei;LIAO Liefa(School of Information Engineering,Jiangxi University of Science and Technology,Ganzhou 341000,Jiangxi,China;School of Software Engineering,Jiangxi University of Science and Technology,Nanchang 330000,China)

机构地区：[1]江西理工大学信息工程学院,江西赣州341000 [2]江西理工大学软件工程学院,南昌330000

出　　处：《计算机工程》

基　　金：国家自然科学基金(71462018,71761018)。

年　　份：2023

卷　　号：49

期　　号：8

起止页码：85-95

语　　种：中文

收录情况：AJ、BDHX、BDHX2020、CAS、CSCD、CSCD_E2023_2024、IC、JST、RCCSE、SCOPUS、UPD、ZGKJHX、核心刊

摘　　要：在中文命名实体识别任务中,具有循环结构的长短时记忆网络模型通过捕捉时序特征解决长距离依赖问题,但其特征捕捉方式单一,信息获取能力有限。卷积神经网络通过使用多层卷积并行处理文本,能够提高模型运算速度,捕捉文本的空间特征,但简单地堆叠多个卷积层容易导致梯度消失。为同时获得多维度的文本特征且改善梯度消失问题,提出一种基于RoBERTa-wwm-DGCNN-BiLSTM-BMHA-CRF的中文命名实体识别模型,通过基于全词遮蔽技术的预训练语言模型RoBERTa-wwm把文本表征为字符级嵌入向量,捕捉深度上下文语义信息,并采用门控机制和残差结构对空洞卷积神经网络进行改进以降低梯度消失的风险。使用双向长短时记忆网络和门控空洞卷积神经网络分别捕捉文本的时序特征和空间特征,采用双线性多头注意力机制对多维度的文本特征进行动态融合,最后使用条件随机场对结果进行约束,获得最佳标记序列。实验结果表明,所提模型在Resume、Weibo和MSRA数据集上的F1值分别为97.20%、74.28%和95.74%,证明了该模型在中文命名实体识别中的有效性。

关 键 词：命名实体识别 RoBERTa-wwm模型  空洞卷积  注意力机制  特征融合  

分 类 号：TP391]