文献类型：期刊文章

作　　者：王乃钰[1] 叶育鑫[1,3] 刘露[2,3] 凤丽洲[4] 包铁[1] 彭涛[1,3]

WANG Nai-Yu;YE Yu-Xin;LIU Lu;FENG Li-Zhou;BAO Tie;PENG Tao(College of Computer Science and Technology,Jilin University,Changchun 130012,China;College of Software,Jilin University,Changchun 130012,China;Key Laboratory of Symbol Computation and Knowledge Engineering for Ministry of Education(Jilin University),Changchun 130012,China;Department of Computer Science,University of Illinois at Chicago,Chicago,IL 60607,USA)

机构地区：[1]吉林大学计算机科学与技术学院,吉林长春130012 [2]吉林大学软件学院,吉林长春130012 [3]符号计算与知识工程教育部重点实验室(吉林大学),吉林长春130012 [4]Department of Computer Science,University of Illinois at Chicago,Chicago 60607,USA

出　　处：《软件学报》

基　　金：国家自然科学基金(61872163,61806084);吉林省教育厅项目(JJKH20190160KJ)。

年　　份：2021

卷　　号：32

期　　号：4

起止页码：1082-1115

语　　种：中文

收录情况：AJ、BDHX、BDHX2020、CSCD、CSCD2021_2022、EI、IC、JST、MR、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行了对比和分析.同时又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行了详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行了概述和评价.最后总结了语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望.

关 键 词：语言模型 预训练  深度学习  自然语言处理 神经语言模型  

分 类 号：TP391]