文献类型：期刊文章

作　　者：赵丽容[1]

ZHAO Lirong(University for Science&Technology Sichuan,MeiShan,SiChuan 620564,China)

机构地区：[1]四川科技职业学院,四川眉山620564

出　　处：《自动化与仪器仪表》

基　　金：四川省教育厅人文社科青年基金《拓展训练与体育旅游关联发展探索》(08SB017)。

年　　份：2022

期　　号：11

起止页码：220-225

语　　种：中文

收录情况：ZGKJHX、普通刊

摘　　要：针对传统英语翻译机器人在多模态翻译中翻译准确率低、翻译语义出现歧义,导致人机交互效果不佳的问题,设计一个基于视觉引导的智能英语翻译机器人人机交互系统。在传统Transformer机器翻译模型和卷积神经网络的基础上,构建基于视觉信息的多模态机器翻译模型Universal MMT;然后基于该模型加入选择注意力,获得感知文本的视觉表示;利用编码器进行多模态门控融合,最终实现编码器翻译结果输出。实验结果表明,相较于其他机器翻译模型,本模型在Multi30K测试集中的BLEU和METEOR取值分别为44.9和62.8,均高于其他模型。在VATEX数据集上,本模型的BLEU值为35.66。由此可知,本模型加入选择注意力后可对上下文语义信息进行准确理解,翻译准确率显著提升。

关 键 词：视觉引导 英语翻译 多模态 TRANSFORMER 选择注意力  

分 类 号：TP392]