文献类型：期刊文章

作　　者：潘家辉[1] 何志鹏[1] 李自娜[2] 梁艳[1] 邱丽娜[1]

PAN Jiahui;HE Zhipeng;LI Zina;LIANG Yan;QIU Lina(School of Software,South China Normal University,Foshan 528225,China;School of Computer,South China Normal University,Guangzhou 510641,China)

机构地区：[1]华南师范大学软件学院,广东佛山528225 [2]华南师范大学计算机学院,广东广州510641

出　　处：《智能系统学报》

基　　金：国家自然科学基金面上项目(61876067);广东省自然科学基金面上项目(2019A1515011375);广州市科技计划项目重点领域研发计划项目(202007030005).

年　　份：2020

卷　　号：15

期　　号：4

起止页码：633-645

语　　种：中文

收录情况：BDHX、BDHX2017、CSCD、CSCD2019_2020、IC、JST、RCCSE、ZGKJHX、核心刊

摘　　要：本文针对多模态情绪识别这一新兴领域进行综述。首先从情绪描述模型及情绪诱发方式两个方面对情绪识别的研究基础进行了综述。接着针对多模态情绪识别中的信息融合这一重难点问题,从数据级融合、特征级融合、决策级融合、模型级融合4种融合层次下的主流高效信息融合策略进行了介绍。然后从多种行为表现模态混合、多神经生理模态混合、神经生理与行为表现模态混合这3个角度分别列举具有代表性的多模态混合实例,全面合理地论证了多模态相较于单模态更具情绪区分能力和情绪表征能力,同时对多模态情绪识别方法转为工程技术应用提出了一些思考。最后立足于情绪识别研究现状的分析和把握,对改善和提升情绪识别模型性能的方式和策略进行了深入的探讨与展望。

关 键 词：情绪识别 情绪描述模型  情绪诱发方式  信息融合 融合策略  情绪表征  模态混合  

分 类 号：TP391.4]