文献类型：期刊文章

作　　者：陈德光[1] 马金林[1,3] 马自萍[2] 周洁[1]

CHEN Deguang;MA Jinlin;MA Ziping;ZHOU Jie(School of Computer Science and Engineering,North Minzu University,Yinchuan 750021,China;School of Mathematics and Information Science,North Minzu University,Yinchuan 750021,China;Key Laboratory for Intelligent Processing of Computer Images and Graphics of National Ethnic Affairs Commission of the PRC,Yinchuan 750021,China)

机构地区：[1]北方民族大学计算机科学与工程学院,银川750021 [2]北方民族大学数学与信息科学学院,银川750021 [3]图像图形智能处理国家民委重点实验室,银川750021

出　　处：《计算机科学与探索》

基　　金：北方民族大学中央高校基本科研业务费专项(2021KJCX09);国家自然科学基金(61462002);国家民委“图像与智能信息处理”创新团队项目;北方民族大学“计算机视觉与虚拟现实”创新团队项目;北方民族大学重大专项(ZDZX201801);宁夏高等学校一流学科建设(数学)项目(NXYLXK2017B09)。

年　　份：2021

卷　　号：15

期　　号：8

起止页码：1359-1389

语　　种：中文

收录情况：BDHX、BDHX2020、CSCD、CSCD2021_2022、IC、JST、ZGKJHX、核心刊

摘　　要：在目前已发表的自然语言处理预训练技术综述中,大多数文章仅介绍神经网络预训练技术或者极简单介绍传统预训练技术,存在人为割裂自然语言预训练发展历程。为此,以自然语言预训练发展历程为主线,从以下四方面展开工作:首先,依据预训练技术更新路线,介绍了传统自然语言预训练技术与神经网络预训练技术,并对相关技术特点进行分析、比较,从中归纳出自然语言处理技术的发展脉络与趋势;其次,主要从两方面介绍了基于BERT改进的自然语言处理模型,并对这些模型从预训练机制、优缺点、性能等方面进行总结;再者,对自然语言处理的主要应用领域发展进行了介绍,并阐述了自然语言处理目前面临的挑战与相应解决办法;最后,总结工作,预测了自然语言处理的未来发展方向。旨在帮助科研工作者更全面地了解自然语言预训练技术发展历程,继而为新模型、新预训练方法的提出提供一定思路。

关 键 词：预训练技术  自然语言处理 神经网络

分 类 号：TP18]