文献类型：期刊文章

作　　者：赵小明[1,2] 杨轶娇[1] 张石清[2]

ZHAO Xiaoming;YANG Yijiao;ZHANG Shiqing(School of Science,Zhejiang University of Science and Technology,Hangzhou 310000,China;Institute of Intelligent Information Processing,Taizhou University,Taizhou,Zhejiang 318000,China)

机构地区：[1]浙江科技学院理学院,杭州310000 [2]台州学院智能信息处理研究所,浙江台州318000

出　　处：《计算机科学与探索》

基　　金：浙江省自然科学基金重点项目(LZ20F020002);国家自然科学基金面上项目(61976149)。

年　　份：2022

卷　　号：16

期　　号：7

起止页码：1479-1503

语　　种：中文

收录情况：BDHX、BDHX2020、CSCD、CSCD2021_2022、DOAJ、IC、JST、ZGKJHX、核心刊

摘　　要：多模态情感识别是指通过与人类情感表达相关的语音、视觉、文本等不同模态信息来识别人的情感状态。该研究在人机交互、人工智能、情感计算等领域有着重要的研究意义,备受研究者关注。鉴于近年来发展起来的深度学习方法在各种任务中所取得的巨大成功,目前各种深度神经网络已被用于学习高层次的情感特征表示,用于多模态情感识别。为了系统地总结深度学习方法在多模态情感识别领域中的研究现状,拟对近年来面向深度学习的多模态情感识别研究文献进行分析与归纳。首先,给出了多模态情感识别的一般框架,并介绍了常用的多模态情感数据集。然后,简要回顾了代表性深度学习技术的原理及其进展。随后,重点详细介绍了多模态情感识别中的两个关键步骤的研究进展:与语音、视觉、文本等不同模态相关的情感特征提取方法,包括手工特征和深度特征;融合不同模态信息的多模态信息融合策略。最后,分析了该领域面临的挑战和机遇,并指出了未来的发展方向。

关 键 词：情感识别 多模态 深度学习  手工特征  深度特征  融合  

分 类 号：TP391]