期刊文章详细信息
基于BERT与Bi-LSTM融合注意力机制的中医病历文本的提取与自动分类
Extraction and Automatic Classification of TCM Medical Records Based on Attention Mechanism of BERT and Bi-LSTM
文献类型:期刊文章
DU Lin;CAO Dong;LIN Shu-yuan;QU Yi-qian;YE Hui(School of Medical Information Engineering,Guangzhou University of Traditional Chinese Medicine,Guangzhou 510000,China;School of Basic Medical,Zhejiang Chinese Medical University,Hangzhou 310000,China)
机构地区:[1]广州中医药大学医学信息工程学院,广州510000 [2]浙江中医药大学基础医学院,杭州310000
基 金:2017国家重点科技计划(2017YFB1002302);2019国家重点研发计划(2019YFC1710400)。
年 份:2020
卷 号:47
期 号:S02
起止页码:416-420
语 种:中文
收录情况:BDHX、BDHX2017、CSCD、CSCD_E2019_2020、IC、JST、RCCSE、UPD、ZGKJHX、核心刊
摘 要:中医逐渐成为热点,中医病历文本中包含着巨大而宝贵的医疗信息。而在中医病历文本挖掘和利用方面,一直面临中医病历文本利用率低、抽取有效信息并对信息文本进行分类的难度大的问题。针对这一问题,研究一种对中医病历文本的提取与自动分类的方法具有很大的临床价值。文中尝试提出一种基于BERT+Bi-LSTM+Attention融合的病历短文本分类模型。使用BERT预处理获取短文本向量作为模型输入,对比BERT与word2vec模型的预训练效果,对比Bi-LSTM+Attention和LSTM模型的效果。实验结果表明,BERT+Bi-LSTM+Attention融合模型在中医病历文本的提取和分类方面达到了最高的AverageF1值(即89.52%)。通过对比发现,BERT较word2vec模型的预训练效果有显著的提升,且Bi-LSTM+Attention模型较LSTM模型的效果有显著的提升,因此提出的BERT+Bi-LSTM+Attention融合模型在病历文本抽取与分类上有一定的医学价值。
关 键 词:BERT Bi-LSTM ATTENTION LSTM
分 类 号:TP391.1] TP183[计算机类]
参考文献:
正在载入数据...
二级参考文献:
正在载入数据...
耦合文献:
正在载入数据...
引证文献:
正在载入数据...
二级引证文献:
正在载入数据...
同被引文献:
正在载入数据...