文献类型：期刊文章

作　　者：关欣[1] 国佳恩[1,2] 卢雨[1]

GUAN Xin;GUO Jiaen;LU Yu(Naval Aviation University,Ysntai 264001,China;Unit 91422 of the PLA,Yantai 265200,China)

机构地区：[1]海军航空大学,烟台264001 [2]中国人民解放军91422部队,烟台265200

出　　处：《电子与信息学报》

基　　金：泰山学者工程专项经费(ts 201712072);国防科技卓越青年科学基金(2017-JCJQ-ZQ-003)。

年　　份：2023

卷　　号：45

期　　号：12

起止页码：4411-4420

语　　种：中文

收录情况：BDHX、BDHX2020、CSCD、CSCD2023_2024、EI、IC、JST、RCCSE、SCOPUS、WOS、ZGKJHX、核心刊

摘　　要：针对当前主流的基于卷积神经网络(CNN)范式的跨模态图像检索算法无法有效提取舰船图像细节特征,以及跨模态“异构鸿沟”难以消除等问题,该文提出一种基于对抗机制的判别性哈希变换器(DAHT)用于舰船图像的跨模态快速检索。该网络采用双流视觉变换器(ViT)结构,依托ViT的自注意力机制进行舰船图像的判别性特征提取,并设计了Hash Token结构用于哈希生成;为了消除同类别图像的跨模态差异,整个检索框架以一种对抗的方式进行训练,通过对生成哈希码进行模态辨别实现模态混淆;同时设计了一种基于反馈机制的跨模加权5元组损失(NW-DCQL)以保持网络对不同类别图像的语义区分性。在两组数据集上开展的4类跨模态检索实验中,该文方法相比次优检索结果分别取得了9.8%,5.2%,19.7%,21.6%的性能提升(32 bit),在单模态检索任务中亦具备一定的性能优势。

关 键 词：跨模态检索  舰船图像  对抗训练  哈希变换  变换器

分 类 号：TN913]