期刊文章详细信息
文献类型:期刊文章
机构地区:[1]西安邮电大学,陕西西安710061 [2]陕西省信息化工程研究院,陕西西安710061
年 份:2016
卷 号:6
期 号:3
起止页码:35-37
语 种:中文
收录情况:普通刊
摘 要:Hadoop是一个可开源提供分布式服务的平台,由于其具有高可靠、高效、高容错性和很强的横向扩展性,因此在大数据领域应用非常广泛,是当今大数据行业的热门。为了将关系型数据库中的数据导入到Hadoop集群中,以达到利用Hadoop本身的优点对数据进行存储、分析、处理的目的,并且在数据传输过程中兼顾传输效率和数据质量。本系统使用一种开源的数据传输工具Sqoop将关系型数据库中的数据导入到Hadoop平台上的分布式文件系统(HDFS)、非关系型数据库(HBase)、关系型数据仓库(Hive)中存储,从而实现数据交换。经测试,该系统可以完成数据交换的功能,系统总的传输速度可以达到20 000条/秒。在网络畅通的条件下,没有数据丢失,保证了数据质量,可实现数据的高效、可靠传输。
关 键 词:Sqoop 数据交换 HADOOP 大数据
分 类 号:TP274.2]
参考文献:
正在载入数据...
二级参考文献:
正在载入数据...
耦合文献:
正在载入数据...
引证文献:
正在载入数据...
二级引证文献:
正在载入数据...
同被引文献:
正在载入数据...