期刊文章详细信息
文献类型:期刊文章
REN Zeyu;WANG Zhenchao;KE Zunwang;LI Zhe;Wushour·Silamu(Xinjiang Multilingual Information Technology Laboratory,Xinjiang Multilingual Information Technology Research Center,Urumqi 830046,China;School of Information Science and Engineering,Xinjiang University,Urumqi 830046,China;School of Software,Xinjiang University,Urumqi 830046,China)
机构地区:[1]新疆多语种信息技术实验室,新疆多语种信息技术研究中心,乌鲁木齐830046 [2]新疆大学信息科学与工程学院,乌鲁木齐830046 [3]新疆大学软件学院,乌鲁木齐830046
基 金:国家重点研发计划(2017YFC0820700);新疆维吾尔自治区科技厅项目(2020D01C026)。
年 份:2021
卷 号:57
期 号:18
起止页码:49-64
语 种:中文
收录情况:AJ、BDHX、BDHX2020、CSCD、CSCD_E2021_2022、IC、JST、RCCSE、ZGKJHX、核心刊
摘 要:随着当今信息技术的飞速发展,信息的存在形式多种多样,来源也十分广泛。不同的存在形式或信息来源均可被称之为一种模态,由两种或两种以上模态组成的数据称之为多模态数据。多模态数据融合负责将多个模态的信息进行有效的整合,汲取不同模态的优点,完成对信息的整合。自然现象具有十分丰富的特征,单一模态很难提供某个现象的完整信息。面对保持融合后具有各个模态信息的多样性以及完整性、使各个模态的优点最大化、减少融合过程造成的信息损失等方面的融合要求,如何对各个模态的信息进行融合成为了多个领域广泛存在的一个新挑战。简要阐述了常见的多模态融合方法、融合架构,总结了三个常见的融合模型,简要分析协同、联合、编解码器三大架构的优缺点以及多核学习、图像模型等具体融合方法。在多模态的应用方面,对多模态视频片段检索、综合多模态信息生成内容摘要、多模态情感分析、多模态人机对话系统进行了分析与总结。指出了当前多模态融合出现的问题,并提出未来的研究方向。
关 键 词:多模态 多模态融合 多模态融合架构 机器学习 神经网络
分 类 号:TP301]
参考文献:
正在载入数据...
二级参考文献:
正在载入数据...
耦合文献:
正在载入数据...
引证文献:
正在载入数据...
二级引证文献:
正在载入数据...
同被引文献:
正在载入数据...