文献类型：期刊文章

作　　者：姜正申[1] 刘宏志[2,3] 付彬[2] 吴中海[2,3]

JIANG Zheng-Shen;LIU Hong-Zhi;FU Bin;WU Zhong-Hai(School of Electronics Engineering and Computer Science, Peking University, Beijing 100871;School of Software and Microelectronics, Peking University, Beijing 102600;National Engineering Research Center For Software Engineering, Peking University, Beijing 100871)

机构地区：[1]北京大学信息科学技术学院,北京100871 [2]北京大学软件与微电子学院,北京102600 [3]北京大学软件工程国家工程研究中心,北京100871

出　　处：《计算机学报》

基　　金：国家自然科学基金(61232005);国家"八六三"高技术研究发展计划项目(2015AA016009)资助~~

年　　份：2019

卷　　号：42

期　　号：1

起止页码：1-15

语　　种：中文

收录情况：BDHX、BDHX2017、CSA、CSA-PROQEUST、CSCD、CSCD2019_2020、EI、IC、JST、MR、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：集成学习是机器学习领域的一个重要分支,其通过整合多个学习器以获得比单个学习器更好的学习效果.多样性和间隔被认为是影响集成学习效果的两个关键因素.现有研究大多是对这两个因素的影响单独进行分析.该文的研究集中于泛化误差、AUC、多样性和间隔之间关系及其在基分类器的权重优化中的应用.该文首先在泛化误差分解理论的基础上,给出了AUC的分解定理.进一步地,该文讨论了泛化误差、AUC、多样性与间隔之间的关系,并指出常用的最大化间隔方法在降低经验误差的同时,也会降低基分类器之间的多样性,进而导致过拟合问题.基于这些理论结果,该文提出了两种新的基分类器的权重优化算法,通过求解一个二次优化问题,实现在准确性和多样性之间的最佳平衡.在35个公开数据集上的实验结果表明,该文所提出的算法在绝大多数情况下都优于现有常用的集成方法.

关 键 词：集成学习  泛化误差分解  AUC 多样性 间隔  权重优化  

分 类 号：TP18]