文献类型：期刊文章

作　　者：陈晓江[1,2] 杨晓奇[2] 陈广豪[3] 刘伍颖[4,5]

CHEN Xiaojiang;YANG Xiaoqi;CHEN Guanghao;LIU Wuying(Information Department,Jieyang Campus of Guangdong Open University,Jieyang 522095,Guangdong,China;School of Information Science and Technology,Guangdong University of Foreign Studies,Guangzhou 510006,Guangdong,China;Department of Software Engineering,Software Engineering Institute of Guangzhou,Guangzhou 510990,Guangdong,China;Shandong Key Laboratory of Language Resources Development and Application,Ludong University,Yantai 264025,Shandong,China;Center for Linguistics and Applied Linguistics,Guangdong University of Foreign Studies,Guangzhou 510420,Guangdong,China)

机构地区：[1]广东开放大学揭阳分校信息科,广东揭阳522095 [2]广东外语外贸大学信息科学与技术学院,广东广州510006 [3]广州软件学院软件工程系,广东广州510990 [4]鲁东大学山东省语言资源开发与应用重点实验室,山东烟台264025 [5]广东外语外贸大学外国语言学及应用语言学研究中心,广东广州510420

出　　处：《山东大学学报（工学版）》

基　　金：教育部新文科研究与改革实践资助项目(2021060049);教育部人文社会科学研究青年基金资助项目(20YJC740062);教育部人文社会科学研究规划基金资助项目(20YJAZH069);山东省研究生教育教学改革研究资助项目(SDYJG21185);山东省本科教学改革研究重点资助项目(Z2021323);上海市哲学社会科学“十三五”规划课题资助项目(2019BYY028);广州市科技计划资助项目(202201010061)。

年　　份：2024

卷　　号：54

期　　号：4

起止页码：51-58

语　　种：中文

收录情况：BDHX、BDHX2023、CAS、CSCD、CSCD2023_2024、RCCSE、UPD、ZGKJHX、核心刊

摘　　要：针对短文本分类任务效率低下和精度不高的问题,提出混合基于Transformer的双向编码器表示和宽度学习分类器(hybrid bidirectional encoder representations from transformer and broad learning, BERT-BL)的高效率和高精度文本分类模型。对基于Transformer的双向编码器表示(bidirectional encoder representation from transformer, BERT)进行微调以更新BERT的参数。使用微调好的BERT将短文本映射成对应的词向量矩阵,将词向量矩阵输入宽度学习(broad learning, BL)分类器中以完成分类任务。试验结果显示,BERT-BL模型在3个公共数据集上的准确率均达到最优;所需要的时间仅为基线模型支持向量机(support vector machine, SVM)、长短期记忆网络(long short-term memory, LSTM)、最小p范数宽度学习(minimum p-norm broad learning,p-BL)和BERT的几十分之一,而且训练过程不需要高性能显卡的参与。通过对比分析,BERT-BL模型不仅在短文本任务中具有良好的性能,而且能节省大量训练时间成本。

关 键 词：短文本分类  BERT-BL  BERT  宽度学习  高精度  

分 类 号：TP391]