文献类型：期刊文章

作　　者：张峰[1,2] 李希城[1,2] 董春茹[1,2] 花强[1,2]

ZHANG Feng;LI Xi-cheng;DONG Chun-ru;HUA Qiangy(College of Mathematics and Information Sciences,Hebei University,Baoding 071002,China;Hebei Key Laboratory of Machine Learning and Computational Intelligence,Baoding 071002,China)

机构地区：[1]河北大学数学与信息科学学院,河北保定071002 [2]河北省机器学习与计算智能重点实验室,河北保定071002

出　　处：《控制与决策》

基　　金：国家自然科学基金面上项目(61773150,61672205);河北省自然科学基金面上项目(F2018201115);河北省教育厅科学技术研究重点项目(ZD2019021);河北大学高层次创新人才科研启动经费项目。

年　　份：2022

卷　　号：37

期　　号：11

起止页码：2984-2992

语　　种：中文

收录情况：AJ、BDHX、BDHX2020、CSCD、CSCD2021_2022、EAPJ、EI、IC、JST、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：随着网络平台上各类图像、视频数据的快速增长,多模态情感分析与情绪识别已成为一个日益热门的研究领域.相比于单模态情感分析,多模态情感分析中的模态融合是一个亟待解决的关键问题.受到认知科学中情感唤起模型的启发,提出一种能够模拟人类处理多通道输入信息机制的深度情感唤醒网络(DEAN),该网络可实现多模态信息的有机融合,既能处理情绪的连贯性,又能避免融合机制的选择不当而带来的问题.DEAN网络主要由以下3部分组成:跨模态Transformer模块,用以模拟人类知觉分析系统的功能;多模态BiLSTM系统,用以模拟认知比较器;多模态门控模块,用以模拟情感唤起模型中的激活结构.在多模态情感分析与情绪识别的3个经典数据集上进行的比较实验结果表明,DEAN模型在各数据集上的性能均超越了目前最先进的情感分析模型.

关 键 词：多模态情感分析  多模态情绪识别  深度情感唤醒网络  跨模态Transformer  多模态BiLSTM系统  多模态门控机制  

分 类 号：TP181]