登录    注册    忘记密码

期刊文章详细信息

一种基于Sqoop的数据交换系统    

  

文献类型:期刊文章

作  者:于金良[1] 朱志祥[1] 梁小江[2]

机构地区:[1]西安邮电大学,陕西西安710061 [2]陕西省信息化工程研究院,陕西西安710061

出  处:《物联网技术》

年  份:2016

卷  号:6

期  号:3

起止页码:35-37

语  种:中文

收录情况:普通刊

摘  要:Hadoop是一个可开源提供分布式服务的平台,由于其具有高可靠、高效、高容错性和很强的横向扩展性,因此在大数据领域应用非常广泛,是当今大数据行业的热门。为了将关系型数据库中的数据导入到Hadoop集群中,以达到利用Hadoop本身的优点对数据进行存储、分析、处理的目的,并且在数据传输过程中兼顾传输效率和数据质量。本系统使用一种开源的数据传输工具Sqoop将关系型数据库中的数据导入到Hadoop平台上的分布式文件系统(HDFS)、非关系型数据库(HBase)、关系型数据仓库(Hive)中存储,从而实现数据交换。经测试,该系统可以完成数据交换的功能,系统总的传输速度可以达到20 000条/秒。在网络畅通的条件下,没有数据丢失,保证了数据质量,可实现数据的高效、可靠传输。

关 键 词:Sqoop  数据交换 HADOOP 大数据

分 类 号:TP274.2]

参考文献:

正在载入数据...

二级参考文献:

正在载入数据...

耦合文献:

正在载入数据...

引证文献:

正在载入数据...

二级引证文献:

正在载入数据...

同被引文献:

正在载入数据...

版权所有©重庆科技学院 重庆维普资讯有限公司 渝B2-20050021-7
 渝公网安备 50019002500408号 违法和不良信息举报中心