文献类型：期刊文章

作　　者：刘金硕[1] 冯阔[1] Jeff Z.Pan[2] 邓娟[1] 王丽娜[1]

Liu Jinshuo;Feng Kuo;Jeff Z.Pan;Deng Juan;and Wang Lina(Key Laboratory of Aerospace Information Security and Trusted Computing,Ministry of Education,School of Cyber Science and Engineering,Wuhan University,Wuhan 430072;University of Aberdeen,Aberdeen,Scotland AB243FX)

机构地区：[1]空天信息安全与可信计算教育部重点实验室,武汉大学国家网络安全学院,武汉430072 [2]阿伯丁大学,苏格兰阿伯丁AB243FX

出　　处：《计算机研究与发展》

基　　金：国家自然科学基金项目(U1936107,6187613,61672393)。

年　　份：2020

卷　　号：57

期　　号：11

起止页码：2328-2336

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CSCD、CSCD2019_2020、EI、IC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：图像和文本相结合的多模态网络谣言由于更具迷惑性和煽动性,对国家安全和社会稳定的危害性更严重.目前网络谣言检测工作充分考虑了谣言中配文的文本内容而忽略了图像内容以及图像中的内嵌文本内容,因此,提出了一种基于深度神经网络针对图像、图像内嵌文本以及配文文本内容的多模态网络谣言检测方法MSRD.该方法使用VGG-19网络提取图像内容特征,使用DenseNet提取图像内嵌文本内容,使用LSTM网络提取文本内容特征,与图像特征串接后,通过完全连接层获取图像与文本共享表示的均值与方差向量,借助从高斯分布中采样的随机变量以形成重新参数化的多模态特征并作为谣言检测器的输入进行谣言检测.实验表明:该方法在Twitter和微博两大数据集上达到了68.5%和79.4%的准确率.

关 键 词：多模态 谣言检测  图像内嵌文本  自然语言处理 深度神经网络  

分 类 号：TP391]