文献类型：期刊文章

作　　者：任欢[1] 王旭光[1]

REN Huan;WANG Xuguang(Department of Automation,North China Electric Power University,Baoding Hebei 071003,China)

机构地区：[1]华北电力大学自动化系,河北保定071003

出　　处：《计算机应用》

年　　份：2021

卷　　号：41

期　　号：S01

起止页码：1-6

语　　种：中文

收录情况：AJ、BDHX、BDHX2020、CSCD、CSCD_E2021_2022、IC、JST、RCCSE、ZGKJHX、ZMATH、核心刊

摘　　要：现在注意力机制已广泛地应用在深度学习的诸多领域。基于注意力机制的结构模型不仅能够记录信息间的位置关系,还能依据信息的权重去度量不同信息特征的重要性。通过对信息特征进行相关与不相关的抉择建立动态权重参数,以加强关键信息弱化无用信息,从而提高深度学习算法效率同时也改进了传统深度学习的一些缺陷。从图像处理、自然语言处理、数据预测等不同应用方面介绍了一些与注意力机制结合的算法结构,并对近几年大火的基于注意力机制的transformer和reformer算法进行了综述。鉴于注意力机制的重要性,综述了注意力机制的研究发展,分析了注意力机制目前的发展现状并探讨了该机制未来可行的研究方向。

关 键 词：注意力机制  深度学习  位置关系  信息特征 关键信息  TRANSFORMER REFORMER

分 类 号：TP183]