文献类型：期刊文章

作　　者：余同瑞[1] 金冉[1,2] 韩晓臻[1] 李家辉[1] 郁婷[1]

YU Tongrui;JIN Ran;HAN Xiaozhen;LI Jiahui;YU Ting(College of Big Data and Software Engineering,Zhejiang Wanli University,Ningbo,Zhejiang 315100,China;College of Computer Science and Technology,Zhejiang University,Hangzhou 310027,China)

机构地区：[1]浙江万里学院大数据与软件工程学院,浙江宁波315100 [2]浙江大学计算机科学与技术学院,杭州310027

出　　处：《计算机工程与应用》

基　　金：国家自然科学基金(No.61472348,No.61672455);教育部人文社科项目(No.17YJCZH076);浙江省基础公益研究计划项目(No.LGF18F020001);浙江省教育厅一般科研项目(No.Y201942839,No.Y202045430);宁波市自然科学基金(No.2018A610156,No.2018A610164);国家级大学生创新创业训练计划项目(No.201910876027)。

年　　份：2020

卷　　号：56

期　　号：23

起止页码：12-22

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CSCD、CSCD_E2019_2020、IC、JST、RCCSE、ZGKJHX、核心刊

摘　　要：近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。

关 键 词：深度学习  自然语言处理 预处理 词向量  语言模型

分 类 号：TP391]