文献类型：期刊文章

作　　者：于玉海[1,2] 林鸿飞[1] 孟佳娜[2] 郭海[2] 赵哲焕[1]

Yu Yuhai;Lin Hongfei;Meng Jiana;Guo Hai;Zhao Zhehuan(School of Computer Science and Technology, Dalian University of Technology, Dalian 116024, China;School of Computer Science ＆ Engineering, Dalian 116600, China)

机构地区：[1]大连理工大学计算机科学与技术学院,大连116024 [2]大连民族大学计算机科学与工程学院,大连116600

出　　处：《中国图象图形学报》

基　　金：国家自然科学基金项目(61272373;61202254;71303031);辽宁省自然科学基金项目(201602195;DC201502030202);中央高校自主科研基金项目(DC13010313;DC201502030202);辽宁省博士科研启动基金项目(201601084)~~

年　　份：2018

卷　　号：23

期　　号：6

起止页码：917-927

语　　种：中文

收录情况：BDHX、BDHX2017、CSCD、CSCD2017_2018、IC、JST、RCCSE、ZGKJHX、核心刊

摘　　要：目的生物医学文献中的图像经常是包含多种模式的复合图像,自动标注其类别,将有助于提高图像检索的性能,辅助医学研究或教学。方法融合图像内容和说明文本两种模态的信息,分别搭建基于深度卷积神经网络的多标签分类模型。视觉分类模型借用自然图像和单标签的生物医学简单图像,实现异质迁移学习和同质迁移学习,捕获通用领域的一般特征和生物医学领域的专有特征,而文本分类模型利用生物医学简单图像的说明文本,实现同质迁移学习。然后,采用分段式融合策略,结合两种模态模型输出的结果,识别多标签医学图像的相关模式。结果本文提出的跨模态多标签分类算法,在Image CLEF2016生物医学图像多标签分类任务数据集上展开实验。基于图像内容的混合迁移学习方法,比仅采用异质迁移学习的方法,具有更低的汉明损失和更高的宏平均F1值。文本分类模型引入同质迁移学习后,能够明显提高标签的分类性能。最后,融合两种模态的多标签分类模型,获得与评测任务最佳成绩相近的汉明损失,而宏平均F1值从0.320上升到0.488,提高了约52.5%。结论实验结果表明,跨模态生物医学图像多标签分类算法,融合图像内容和说明文本,引入同质和异质数据进行迁移学习,缓解生物医学图像领域标注数据规模小且标签分布不均衡的问题,能够更有效地识别复合医学图像中的模式信息,进而提高图像检索性能。

关 键 词：多标签分类  卷积神经网络 迁移学习  生物医学图像  深度学习  

分 类 号：TP391.6]