文献类型：期刊文章

作　　者：黄远[1] 白琮[1] 李宏凯[1] 张敬林[2] 陈胜勇[3]

Huang Yuan;Bai Cong;Li Hongkai;Zhang Jinglin;Chen Shengyong(College of Computer Science and Technology,Zhejiang University of Technology,Hangzhou 310023;School of Atmospheric Science,Nanjing University of Information Science and Technology,Nanjing 210044;College of Computer Science and Engineering,Tianjin University of Technology,Tianjin 300384)

机构地区：[1]浙江工业大学计算机科学与技术学院,杭州310023 [2]南京信息工程大学大气科学学院,南京210044 [3]天津理工大学计算机科学与工程学院,天津300384

出　　处：《计算机辅助设计与图形学学报》

基　　金：国家自然科学基金(61976192,61702275,41775008,U1509207)。

年　　份：2020

卷　　号：32

期　　号：6

起止页码：911-918

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CSCD、CSCD2019_2020、EI、IC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：图像描述,即利用电脑自动描述图像的语义内容一直是计算机视觉领域的一项重要研究任务.尽管使用卷积神经网络(convolutional neural networks, CNN)和长短期记忆网络(long short-term memory, LSTM)的组合框架在生成图像描述方面解决了梯度消失和梯度爆炸问题,但是基于LSTM的模型依赖序列化的生成描述,无法在训练时并行处理,且容易在生成描述时遗忘先前的信息.为解决这些问题,提出将条件生成对抗网络(conditionalgenerativeadversarial network, CGAN)引入到描述生成模型训练中,即采用CNN来生成图像描述.通过对抗训练来生成句子描述,并结合注意力机制提升描述的质量.在MSCOCO数据集上进行测试,实验结果表明,与基于CNN的其他方法相比,文中方法在语义丰富程度指标CIDEr上取得了2%的提升,在准确性指标BLEU上有1%左右的性能提升;同时,其在部分指标,尤其是语义指标上超过了基于LSTM模型的图像描述方法的性能;证明该方法生成的图像描述更接近图像的真实描述,并且语义内容更加丰富.

关 键 词：图像描述 卷积神经网络 生成对抗网络  注意力机制  

分 类 号：TP391.41]