文献类型：期刊文章

作　　者：张裕浩[1] 许诺[1] 李垠桥[1] 肖桐[1,2] 朱靖波[1,2]

ZHANG Yuhao;XU Nuo;LI Yinqiao;XIAO Tong;ZHU Jingbo(Natural Language Processing Laboratory,Northeastern University,Shenyang 110819,China;Shenyang Yatrans Network Technology Co.,Ltd.,Shenyang 110004,China)

机构地区：[1]东北大学自然语言处理实验室,辽宁沈阳110819 [2]沈阳雅译网络技术有限公司,辽宁沈阳110004

出　　处：《厦门大学学报（自然科学版）》

基　　金：国家自然科学基金重点项目(61732005,61432013);国家重点研发计划(2019QY1801);国家自然科学基金(61876035);网络文化与数字传播北京市重点实验室开放课题。

年　　份：2020

卷　　号：59

期　　号：2

起止页码：175-184

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、BIOSISPREVIEWS、CAS、CSA、CSA-PROQEUST、CSCD、CSCD_E2019_2020、INSPEC、JST、MR、PROQUEST、RCCSE、RSC、WOS、ZGKJHX、ZMATH、ZR、核心刊

摘　　要：近年来,Transformer模型中多层注意力网络的使用有效提升了翻译模型的译文质量,但同时大量注意力操作的使用也导致模型整体的推断效率相对较低.基于此,提出了从粗粒度到细粒度(coarse-to-fine,CTF)的方法,根据注意力权重中的信息量差异对信息表示进行细粒度压缩,最终达到加速推断的目的.实验发现,在NIST中英和WMT英德翻译任务上,该方法在保证模型性能的同时,推断速度分别提升了13.9%和12.8%.此外,还进一步分析了注意力操作在不同表示粒度下的信息量差异,对该方法的合理性提供支持.

关 键 词：神经机器翻译  模型加速  从粗粒度到细粒度  

分 类 号：TP391]