文献类型：期刊文章

作　　者：郝爽[1,2] 李国良[2] 冯建华[2] 王宁[1]

HAO Shuang;LI Guoliang;FENG Jianhua;WANG Ning(School of Computer and Information Technology,Beijing Jiaotong University,Beijing 100044,China;Database Group,Department of Computer Science and Technology,Tsinghua University,Beijing 100084,China)

机构地区：[1]北京交通大学计算机与信息技术学院,北京100044 [2]清华大学计算机科学与技术系数据库组,北京100084

出　　处：《清华大学学报（自然科学版）》

基　　金：国家重点研发计划项目(2018YFC0809800);国家自然科学基金项目(61373024,61632016,61422205,61521002)

年　　份：2018

卷　　号：58

期　　号：12

起止页码：1037-1050

语　　种：中文

收录情况：BDHX、BDHX2017、CAS、CSA、CSA-PROQEUST、CSCD、CSCD2017_2018、EI、IC、INSPEC、JST、MR、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘　　要：数据清洗是对脏数据进行检测和纠正的过程,是进行数据分析和管理的基础。该文对经典和新兴的数据清洗技术进行分类和总结,为进一步的研究工作提供方向。形式化定义了数据清洗问题,对数据缺失、数据冗余、数据冲突和数据错误这4种数据噪声的检测技术进行详细阐述。按照数据清洗方式对数据噪声的消除技术进行分类概述,包括基于完整性约束的数据清洗算法、基于规则的数据清洗算法、基于统计的数据清洗算法和人机结合的数据清洗算法。介绍了常用的测评数据集和噪声注入工具,并对未来重点的研究方向进行了探讨和展望。

关 键 词：数据清洗 数据噪声  噪声检测 噪声消除

分 类 号：TP311]