文献类型：期刊文章

作　　者：宋云峰[1] 任鸽[1] 杨勇[1] 樊小超[1]

Song Yunfeng;Ren Ge;Yang Yong;Fan Xiaochao(School of Computer Science&Technology,Xinjiang Normal University,Urumqi 830054,China)

机构地区：[1]新疆师范大学计算机科学技术学院,乌鲁木齐830054

出　　处：《计算机应用研究》

基　　金：新疆维吾尔自治区自然科学基金资助项目(2021D01B72);国家自然科学基金资助项目(62066044)。

年　　份：2022

卷　　号：39

期　　号：3

起止页码：716-720

语　　种：中文

收录情况：AJ、BDHX、BDHX2020、CSCD、CSCD_E2021_2022、IC、JST、RCCSE、UPD、ZGKJHX、ZMATH、核心刊

摘　　要：针对多模态情感分析中的模态内部特征表示和模态间的特征融合问题,结合注意力机制和多任务学习,提出了一种基于注意力的多层次混合融合的多任务多模态情感分析模型MAM(multi-level attention and multi-task)。首先,利用卷积神经网络和双向门控循环单元来实现单模态内部特征的提取;其次,利用跨模态注意力机制实现模态间的两两特征融合;再次,在不同层次使用自注意力机制实现模态贡献度选择;最后,结合多任务学习获得情感和情绪的分类结果。在公开的CMU-MOSEI数据集上的实验结果表明,情感和情绪分类的准确率和F;值均有所提升。

关 键 词：多模态 情感分析 注意力机制  多任务学习

分 类 号：TP391.1]