期刊文章详细信息
大数据流计算环境下的低延时高可靠性的资源调度方法
Low Latency and High-Reliability Resource Scheduling Method in Big Data Streaming Computing Environment
文献类型:期刊文章
机构地区:[1]华东理工大学计算机科学与工程系,上海200237 [2]上海市计算机软件评测重点实验室,上海201112 [3]上海应用技术学院计算机科学与信息工程系,上海200235
基 金:国家自然科学基金(61173048;61300041);高等学校博士学科点专向科研基金(20130074110015);中央高校基本科研业务费专项基金(WH1314038)
年 份:2017
卷 号:43
期 号:6
起止页码:855-862
语 种:中文
收录情况:BDHX、BDHX2014、CSCD、CSCD_E2017_2018、核心刊
摘 要:在大数据处理过程中,如何保证流数据处理的可靠性及实时性变得日益重要。本文使用数据流图(DSG)对大数据流应用过程进行描述,并将DSG表示为扩展的Petri网以便对数据流过程进行建模。提出了基于CPU利用率平均变化率的资源熵算法计算资源组可靠性,并根据资源熵算法提出了基于时间和可靠性的资源调度算法(TRS-SCHE)以获得高可靠性、低延时的资源调度方案。通过仿真实验,模拟实现soda交通大数据分析应用并进行资源的调度,验证了TRSSCHE相比于Storm隔离调度算法在响应时间、请求失败率和算法时间复杂度方面的优势。
关 键 词:DSG 高可靠性 低延时 资源熵 响应时间
分 类 号:TP391]
参考文献:
正在载入数据...
二级参考文献:
正在载入数据...
耦合文献:
正在载入数据...
引证文献:
正在载入数据...
二级引证文献:
正在载入数据...
同被引文献:
正在载入数据...