文献类型：期刊文章

作　　者：蓝玮毓[1,2] 王晓旭[1,2] 杨刚[1,2] 李锡荣[1,2]

LAN Wei-Yu;WANG Xiao-Xu;YANG Gang;LI Xi-Rong(MOE Key Lab of Data Engineering and Knowledge Engineering, Renmin University of China, Beijing 100872;Multimedia Computing Laboratory, School of Information, Renmin University of China, Beijing 100872)

机构地区：[1]中国人民大学数据工程与知识工程教育部重点实验室,北京100872 [2]中国人民大学信息学院多媒体计算实验室,北京100872

出　　处：《计算机学报》

基　　金：国家自然科学基金项目"面向中文的看图造句若干关键问题研究"(61672523);"基于社会网络计算的企业舆情管理新理论新方法"(71531012)资助~~

年　　份：2019

卷　　号：42

期　　号：1

起止页码：136-148

语　　种：中文

收录情况：BDHX、BDHX2017、CSA、CSA-PROQEUST、CSCD、CSCD2019_2020、EI、IC、JST、MR、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：图像数据飞速增多,而计算机与人对图像数据的理解间存在语义鸿沟.如何有效地理解、管理和组织图像数据是学术界和工业界面临的一个重大挑战.利用计算机自动生成能够描述图像内容的自然语言描述有助于弥合语义鸿沟,从而提升对图像数据的理解.现有工作致力于英文句子生成.与之不同的是,该文实现了一个面向中文的看图造句系统.通过大规模机器翻译克服了中文训练数据缺乏的问题,同时提出了结合中文标签自动预测,对深度模型预测句子进行重排序的增强方法,改善句子生成质量.在两个中文图像句子数据集Flickr8k-cn和Flickr30k-cn上的实验表明,该文提出的标签增强方法可以有效改善现有两种看图造句模型(Google模型和Attention模型)所生成句子的质量.标签增强使得Google模型在Flickr8k-cn测试集上的CIDEr指标从0.474提高到0.503,Flickr30k-cn测试集上的CIDEr指标从0.325提高到0.356.通过标签增强,Attention模型在这两个数据集上的CIDEr分别从0.510提高到0.536,从0.392提高到到0.411.

关 键 词：图像句子生成  中文模型  中文标签预测  深度学习  机器翻译

分 类 号：TP18]