文献类型：期刊文章

作　　者：李瑜泽[1,2,3] 栾馨[1,2,3] 柯尊旺[2,3,4] 李哲[2,3,4] 吾守尔·斯拉木[1,2,3]

LI Yuze;LUAN Xin;KE Zunwang;LI Zhe;Wushour Silamu(College of Information Science and Engineering,Xinjiang University,Urumqi 830046,China;Xinjiang Laboratory of Multi-Language Information Technology,Urumqi 830046,China;Xinjiang Multi-Language Information Technology Research Center,Urumqi 830046,China;School of Software,Xinjiang University,Urumqi 830046,China)

机构地区：[1]新疆大学信息科学与工程学院,乌鲁木齐830046 [2]新疆多语种信息技术实验室,乌鲁木齐830046 [3]新疆多语种信息技术研究中心,乌鲁木齐830046 [4]新疆大学软件学院,乌鲁木齐830046

出　　处：《计算机工程》

基　　金：国家重点研发计划(2017YFC0820702-3)。

年　　份：2021

卷　　号：47

期　　号：9

起止页码：18-33

语　　种：中文

收录情况：AJ、BDHX、BDHX2020、CAS、CSCD、CSCD_E2021_2022、IC、JST、RCCSE、SCOPUS、UPD、ZGKJHX、核心刊

摘　　要：随着自然语言处理(NLP)领域中预训练技术的快速发展,将外部知识引入到预训练语言模型的知识驱动方法在NLP任务中表现优异,知识表示学习和预训练技术为知识融合的预训练方法提供了理论依据。概述目前经典预训练方法的相关研究成果,分析在新兴预训练技术支持下具有代表性的知识感知的预训练语言模型,分别介绍引入不同外部知识的预训练语言模型,并结合相关实验数据评估知识感知的预训练语言模型在NLP各个下游任务中的性能表现。在此基础上,分析当前预训练语言模型发展过程中所面临的问题和挑战,并对领域发展前景进行展望。

关 键 词：自然语言处理 知识表征 语义知识 预训练  语言模型

分 类 号：TP391]