文献类型：期刊文章

作　　者：何俊[1] 张彩庆[2] 李小珍[1] 张德海[3]

HE Jun;ZHANG Caiqing;LI Xiaozhen;ZHANG Dehai(College of Information Engineering,Kunming University,Kunming 650214,China;College of Foreign Languages,Yunnan University,Kunming 650206,China;College of Software,Yunnan University,Kunming 650206,China)

机构地区：[1]昆明学院信息工程学院,昆明650214 [2]云南大学外国语学院,昆明650206 [3]云南大学软件学院,昆明650206

出　　处：《计算机工程》

基　　金：国家自然科学基金(61263043,61864004);云南省地方本科高校基础研究联合专项(2017FH001-05)。

年　　份：2020

卷　　号：46

期　　号：5

起止页码：1-11

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CAS、CSA、CSA-PROQEUST、CSCD、CSCD_E2019_2020、IC、INSPEC、JST、RCCSE、SCOPUS、UPD、ZGKJHX、核心刊

摘　　要：面向深度学习的多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能,而模态的普遍性和深度学习的热度促进了多模态融合技术的发展。在多模态融合技术发展前期,以提升深度学习模型分类与回归性能为出发点,阐述多模态融合架构、融合方法和对齐技术。重点分析联合、协同、编解码器3种融合架构在深度学习中的应用情况与优缺点,以及多核学习、图像模型和神经网络等具体融合方法与对齐技术,在此基础上归纳多模态融合研究的常用公开数据集,并对跨模态转移学习、模态语义冲突消解、多模态组合评价等下一步的研究方向进行展望。

关 键 词：深度学习  多模态 模态融合  模态对齐  多核学习 图像模型

分 类 号：TP391.1]