文献类型：期刊文章

作　　者：崔英杰[1]

CUI Ying-jie(College of Intelligent Manufacturing,Huanghuai University,Zhumadian 463000,China)

机构地区：[1]黄淮学院智能制造学院,河南驻马店463000

出　　处：《电子设计工程》

基　　金：2018年度河南省重大科技专项(182102210100)。

年　　份：2020

卷　　号：28

期　　号：5

起止页码：98-102

语　　种：中文

收录情况：RCCSE、ZGKJHX、普通刊

摘　　要：随着云计算和物联网的快速发展,企业和个人产生的数据信息量和速度都在不断增加。如何使用和管理如此庞大的数据量进行大数据分析已经成为一项重要的任务。但在云计算的架构下,Hadoop在执行MapReduce操作时会占用大量的网络带宽,尤其是在多个节点的情况下,网络传输质量的影响更为严重。基于大数据信息储存平台为基础架构,结合雾计算的数据预处理能力,构建了以雾计算架构为基础的大数据分析平台,利用雾的特性计算近端设备的优点,将大多数的数据信息在送进MapReduce做分析前,先进行初步的整合和计算,可以减少传递给Hadoop MapReduce的Result Set,将这种计算架构应用到当前的云计算环境中,达到精简网络资源的目的,进而提高大数据运算整体执行效率。

关 键 词：大数据 雾计算  HADOOP MAPREDUCE

分 类 号：TP393.1]