文献类型：期刊文章

作　　者：朱张莉[1] 饶元[1] 吴渊[1] 祁江楠[1] 张钰[2]

ZHU Zhangli;RAO Yuan;WU Yuan;QI Jiangnan;ZHANG Yu(Lab of Social Intelligence&Complex Data Processing,School of Software,Xi'an Jiaotong University, Xi'an,Shaanxi 710049,China;School of Computer Science,Shaanxi Normal University, Xi'an,Shaanxi 710119 ,China)

机构地区：[1]西安交通大学软件学院社会智能与复杂数据处理实验室,陕西西安710049 [2]陕西师范大学计算机科学学院,陕西西安710119

出　　处：《中文信息学报》

基　　金：国家自然科学基金(61741208);教育部“云数融合”基金(2017B00030);中央高校基本科研业务费(zdyf2017006);陕西省协同创新计划(2015XT-21);西安市碑林区科技创新计划项目(GX1803);陕西烟草公司科技攻关项目(ST2017-R011);中央高校建设世界一流大学(学科)和特色发展引导专项资金(PY3A022);深圳市科技项目(JCYJ20180306170836595)

年　　份：2019

卷　　号：33

期　　号：6

起止页码：1-11

语　　种：中文

收录情况：BDHX、BDHX2017、CSCD、CSCD2019_2020、JST、RCCSE、ZGKJHX、核心刊

摘　　要：注意力机制逐渐成为目前深度学习领域的主流方法和研究热点之一,它通过改进源语言表达方式,在解码中动态选择源语言相关信息,从而极大改善了经典Encoder-Decoder框架的不足。该文在提出传统基于Encoder-Decoder框架中存在的长程记忆能力有限、序列转化过程中的相互关系、模型动态结构输出质量等问题的基础上,描述了注意力机制的定义和原理,介绍了多种不同的分类方式,分析了目前的研究现状,并叙述了目前注意力机制在图像识别、语音识别和自然语言处理等重要领域的应用情况。同时,进一步从多模态注意力机制、注意力的评价机制、模型的可解释性及注意力与新模型的融合等方面进行了探讨,从而为注意力机制在深度学习中的应用提供新的研究线索与方向。

关 键 词：深度学习  注意力机制  编码器解码器  

分 类 号：TP391]