文献类型：期刊文章

作　　者：姜猛[1] 王子牛[2] 高建瓴[1]

JIANG Meng;WANG Ziniu;GAO Jianling(School of Big Data & Information Engineering,Guizhou University,Guiyang 550025,China;Network and Information Management Center,Guizhou University,Guiyang 550025,China)

机构地区：[1]贵州大学大数据与信息工程学院,贵州贵阳550025 [2]贵州大学网络与信息化管理中心,贵州贵阳550025

出　　处：《电子科技》

基　　金：贵州省科学技术基金(黔科合J字[2015]2045);贵州大学研究生创新基金(研理工2017016)~~

年　　份：2019

卷　　号：32

期　　号：4

起止页码：29-32

语　　种：中文

收录情况：CSA、CSA-PROQEUST、IC、INSPEC、RCCSE、普通刊

摘　　要：中文分词技术作为中文信息处理中的关键基础技术之一,基于深度学习模型的中文分词法受到广泛关注。然而,深度学习模型需要大规模数据训练才能获得良好的性能,而当前中文分词语料数据相对缺乏且标准不一。文中提出了一种简单有效的异构数据处理方法,对不同语料数据加上两个人工设定的标识符,使用处理过的数据应用于双向长短期记忆网络结合条件随机场(Bi-LSTM-CRF)的中文分词模型的联合训练。实验结果表明,基于异构数据联合训练的Bi-LSTM-CRF模型比单一数据训练的模型具有更好的分词性能。

关 键 词：中文分词 深度学习  Bi-LSTM-CRF  异构数据  联合训练  语料库

分 类 号：TP391]