文献类型：期刊文章

作　　者：周静[1] 余浩然[1] 米清奎[1] 黄忠[1] 龚伟[2]

ZHOU Jing;YU Haoran;MI Qingkui;HUANG Zhong;GONG Wei(Office of Administrative and Information Construction,Chongqing Bureau of Statistics,Chongqing 401147;Department of Technology and Network Data,Chongqing Municipal Network Security and Informatization Committee Office,Chongqing 401121,China)

机构地区：[1]重庆市统计局信息化建设和管理处,重庆401147 [2]中共重庆市委网络安全和信息化委员会办公室网络数据与技术处,重庆401121

出　　处：《重庆师范大学学报（自然科学版）》

基　　金：全国统计科学研究重点项目(No.2019LZ24)。

年　　份：2021

卷　　号：38

期　　号：2

起止页码：77-83

语　　种：中文

收录情况：BDHX、BDHX2020、CAB、CAS、IC、JST、RCCSE、WOS、ZGKJHX、ZMATH、核心刊

摘　　要：【目的】通过统计数据和大数据融合来扩大统计基础数据库数据资源的广度和深度。【方法】首先,将数据库分成多源异构资源装载的数据湖、大数据资源管理、为多元数据服务的大数据应用3部分,将多元异构原始数据导出成csv数据文件,根据文件中每列的内容进入元数据编辑工具录入DataFiles对象信息,使DataFiles中的variable内容和顺序与csv文件的列的内容和顺序对应,达到使用DDI元数据描述统计数据的作用。其次,将数据描述信息导出生成DDI元数据文件,将两两配对的csv数据文件和DDI元数据文件一起提交给数据平台,经过解析识别完成数据入库。再次,用大数据开发方法,引入HBase和Hive技术,结合通用统计业务模型(Generic statistical business process model,GSBPM),将数据库中的数据利用ETL工具进行重新组合或融合形成资源库和应用库,并根据不同的业务场景要求,利用MPP数据库技术工具,满足在线海量数据的实时计算以及离线数据批量计算。最后,根据统计分析需求,利用地理信息系统GIS结合指标体系形成直观、立体、多元化的数据展现及分析场景,形成"统计一张图"。【结果】完成了统计数据和大数据源融合的统计大数据平台架构。【结论】建设统计大数据平台就是建设行政区域内统一的经济、社会和人口宏观,微观数据中台,实现对经济运行数据、社会管理数据和人口分布数据的智能化关联匹配,并能全景式一体化呈现全市经济社会发展状况,具有较强的实用价值和社会效益。创新点为建设统一的数据融合标准体系,并为即将建设的重庆市统计大数据平台提供了理论研究基础。

关 键 词：统计数据  大数据源  融合  应用研究  

分 类 号：TP315]