大数据应用集群系统高效能资源管理优化方法研究
发布时间：2021-04-24 01:29
当前,大数据已经成为移动互联网、大规模物联网、并行集群计算、数据科学与机器学习等领域炙手可热的研究焦点,其技术发展趋势已从“概念”走向“价值”,如何低成本高效率的从这些体量巨大、不断增长的多源异构数据中挖掘出有价值的知识是其中的核心问题,受到学术界、产业界与应用行业的广泛关注。而支持大数据分析的集群计算系统建设是其重要的基础之一。实现面向大数据应用集群计算系统资源的高效能管理具有着重要的意义。面向大数据应用的集群计算系统相比于传统的高可用性、负载均衡、高性能计算等集群计算系统,具有着多样计算模式融合、异构作业资源请求与SLA约束、多维资源管理模式等特征。基于该种集群计算系统的应用、计算、服务特征,提出对应的资源管理策略,同时增强集群资源管理系统的自学习能力,是实现大数据应用集群系统高效能计算的有效途径。遵循该种思路,本文从资源动态供给、高效共享、高效能调度三个层次展开了研究。首先,通过实际集群系统轨迹数据分析,发现异构负载、现有在线预测方法的局限性是大数据应用集群系统动态服务器供给面临的主要挑战。本文提出了自适应Pause策略缓解由于大数据应用作业服务时间较长,而造成低利用率服务器无法...
【文章来源】：湖南大学湖南省 211工程院校 985工程院校 教育部直属院校
【文章页数】：122 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 概述
1.1.1 集群计算应用与类型
1.1.2 大数据应用集群系统
1.2 大数据应用集群系统资源高效能管理重要性
1.3 相关研究
1.3.1 动态服务器供给
1.3.2 多维资源高效共享
1.3.3 任务高效能调度
1.4 本文的主要贡献
1.5 本文的工作安排
第2章 基于强化超启发的动态服务器供给方法
2.1 引言
2.2 相关研究
2.2.1 传统动态服务器供给技术
2.2.2 大数据应用集群系统动态服务器供给研究现状
2.2.3 超启发式算法研究现状
2.3 问题定义
2.4 大数据应用集群系统动态服务器供给框架与方法
2.4.1 大数据应用集群系统动态服务器供给挑战
2.4.2 主要思路与算法总体流程
2.4.3 自适应Pause策略
2.4.4 在线强化超启发预测方法
2.5 实验结果与分析
2.5.1 自适应Pause策略有效性评估
2.5.2 在线强化超启发预测方法性能评估
2.5.3 动态服务器供给策略在不同场景下的表现
2.6 本章小结
第3章 效率感知的动态离散多维资源公平分配方法
3.1 引言
3.2 相关研究
3.3 问题定义
3.3.1 动态离散资源分布
3.3.2 公平约束效率优化多维资源分配定义
3.4 动态效率感知的多维资源分配方法
3.4.1 大数据应用集群系统作业资源请求特征分析
3.4.2 动态分配效率感知的多维资源公平分配方法
3.5 实验结果与分析
3.5.1 实验环境
3.5.2 算法评估准则
3.5.3 不同集群规模优化场景下算法性能分析
3.5.4 不同资源维度优化场景下算法性能分析
3.6 本章小结
第4章 基于Memetic多目标优化的异构集群系统任务调度方法
4.1 引言
4.2 相关研究
4.2.1 非独立任务调度现状
4.2.2 Memetic算法
4.2.3 多目标优化
4.3 问题定义
4.3.1 DAG模型
4.3.2 异构集群系统建模
4.3.3 集群系统性能与能耗多目标优化问题定义
4.4 面向异构集群系统性能与能耗优化的Memetic多目标优化方法
4.4.1 编码与初始化种群
4.4.2 基于DAG任务层次的交叉变异算子
4.4.3 Memetic局部搜索策略与预评估
4.5 实验结果与分析
4.5.1 实验环境
4.5.2 MOMA与单目标优化算法比较
4.5.3 MOMA与多目标优化算法比较
4.6 本章小结
第5章 基于模糊搜索偏好的量子超启发能耗感知任务调度方法
5.1 引言
5.2 相关研究
5.3 问题定义
5.4 模糊搜索偏好的量子超启发式任务调度方法
5.4.1 量子超启发式任务调度算法
5.4.2 基于模糊搜索偏好的约束处理技术
5.5 实验结果与分析
5.5.1 量子超启发式任务调度方法性能分析
5.5.2 基于模糊搜索偏好约束处理技术的性能分析
5.5.3 模糊搜索偏好的量子超启发任务调度方法性能分析
5.6 本章小结
结论
参考文献
附录 A 约束处理技术详细实验结果
附录 B 发表论文和参加科研情况说明
致谢
【参考文献】：
期刊论文
[1]云计算环境中绿色服务级目标的分析、量化、建模及评价[J]. 孙大为,常桂然,陈东,王兴伟. 计算机学报. 2013(07)
[2]一种面向同构集群系统的并行任务节能调度优化方法[J]. 李新,贾智平,鞠雷,赵衍恒,宗子良. 计算机学报. 2012(03)
[3]一种云计算环境下的能效模型和度量方法[J]. 宋杰,李甜甜,闫振兴,那俊,朱志良. 软件学报. 2012(02)
本文编号：3156415
【文章来源】：湖南大学湖南省 211工程院校 985工程院校 教育部直属院校
【文章页数】：122 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 概述
1.1.1 集群计算应用与类型
1.1.2 大数据应用集群系统
1.2 大数据应用集群系统资源高效能管理重要性
1.3 相关研究
1.3.1 动态服务器供给
1.3.2 多维资源高效共享
1.3.3 任务高效能调度
1.4 本文的主要贡献
1.5 本文的工作安排
第2章 基于强化超启发的动态服务器供给方法
2.1 引言
2.2 相关研究
2.2.1 传统动态服务器供给技术
2.2.2 大数据应用集群系统动态服务器供给研究现状
2.2.3 超启发式算法研究现状
2.3 问题定义
2.4 大数据应用集群系统动态服务器供给框架与方法
2.4.1 大数据应用集群系统动态服务器供给挑战
2.4.2 主要思路与算法总体流程
2.4.3 自适应Pause策略
2.4.4 在线强化超启发预测方法
2.5 实验结果与分析
2.5.1 自适应Pause策略有效性评估
2.5.2 在线强化超启发预测方法性能评估
2.5.3 动态服务器供给策略在不同场景下的表现
2.6 本章小结
第3章 效率感知的动态离散多维资源公平分配方法
3.1 引言
3.2 相关研究
3.3 问题定义
3.3.1 动态离散资源分布
3.3.2 公平约束效率优化多维资源分配定义
3.4 动态效率感知的多维资源分配方法
3.4.1 大数据应用集群系统作业资源请求特征分析
3.4.2 动态分配效率感知的多维资源公平分配方法
3.5 实验结果与分析
3.5.1 实验环境
3.5.2 算法评估准则
3.5.3 不同集群规模优化场景下算法性能分析
3.5.4 不同资源维度优化场景下算法性能分析
3.6 本章小结
第4章 基于Memetic多目标优化的异构集群系统任务调度方法
4.1 引言
4.2 相关研究
4.2.1 非独立任务调度现状
4.2.2 Memetic算法
4.2.3 多目标优化
4.3 问题定义
4.3.1 DAG模型
4.3.2 异构集群系统建模
4.3.3 集群系统性能与能耗多目标优化问题定义
4.4 面向异构集群系统性能与能耗优化的Memetic多目标优化方法
4.4.1 编码与初始化种群
4.4.2 基于DAG任务层次的交叉变异算子
4.4.3 Memetic局部搜索策略与预评估
4.5 实验结果与分析
4.5.1 实验环境
4.5.2 MOMA与单目标优化算法比较
4.5.3 MOMA与多目标优化算法比较
4.6 本章小结
第5章 基于模糊搜索偏好的量子超启发能耗感知任务调度方法
5.1 引言
5.2 相关研究
5.3 问题定义
5.4 模糊搜索偏好的量子超启发式任务调度方法
5.4.1 量子超启发式任务调度算法
5.4.2 基于模糊搜索偏好的约束处理技术
5.5 实验结果与分析
5.5.1 量子超启发式任务调度方法性能分析
5.5.2 基于模糊搜索偏好约束处理技术的性能分析
5.5.3 模糊搜索偏好的量子超启发任务调度方法性能分析
5.6 本章小结
结论
参考文献
附录 A 约束处理技术详细实验结果
附录 B 发表论文和参加科研情况说明
致谢
【参考文献】：
期刊论文
[1]云计算环境中绿色服务级目标的分析、量化、建模及评价[J]. 孙大为,常桂然,陈东,王兴伟. 计算机学报. 2013(07)
[2]一种面向同构集群系统的并行任务节能调度优化方法[J]. 李新,贾智平,鞠雷,赵衍恒,宗子良. 计算机学报. 2012(03)
[3]一种云计算环境下的能效模型和度量方法[J]. 宋杰,李甜甜,闫振兴,那俊,朱志良. 软件学报. 2012(02)
本文编号：3156415
本文链接：https://www.wllwen.com/guanlilunwen/yunyingzuzhiguanlilunwen/3156415.html
