基于任务统计特征的云计算系统资源管理方法研究

发布时间：2024-03-01 18:39

　　资源利用率低是现今云计算系统中普遍存在的问题。资源利用率低不但会降低作业的执行效率,而且会增加用户使用集群资源的成本。如何高效地分配和使用资源是云计算系统中需要重点关注的问题。应用程序的多样性和集群的异构性是目前云计算系统中资源分配所面临的主要挑战。负载的多样性和集群的异构性使得在应用程序运行之前很难准确预测其资源消耗。分析集群负载日志可以了解集群与任务的特性,进而作为资源分配策略设计的依据。现有基于历史信息的研究工作假定同类型任务的资源消耗与完成时间是相同,然而任务的实际资源消耗与完成时间只是相似的。为此深入分析了任务的资源消耗与完成时间的相似性特征。通过资源消耗与完成时间的概率分布能够很好地描述任务的特性。并通过高斯拟合得出其概率分布函数,用于资源分配策略的设计。根据任务的资源消耗概率分布函数,提出了一种基于任务统计特征的资源分配策略。分析表明,该资源分配策略可以达到资源利用率在理论上的极值。实验结果表明,该策略在异构集群中的多种应用中都取得了良好的性能,可以最大限度地缩小资源分配与资源消耗之间的差距,可以使资源利用率达到85%以上,能够缩短应用程序25%以上的执行时间。此外,随着...

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

图2.1两次Terasort作业map任务的CPU与内存的消耗量

次测试的Map任务CPU的实际消耗量，CPU的消耗量在占分配量的0.51左右。从资源消耗的情况中，可以得出实际的使用量处于较低水平，使得集群资源使用率较低。图2.2a、2.2b为Terasort1与Terasort2的map任务的完成时间的统计图。从....

图2.2两次terasort作业的map任务的完成时间

(a)Terasort1map任务完成时间(b)Terasort2map任务完成时间图2.2两次terasort作业的map任务的完成时间2.2相同节点上的不同类型的任务不同类型的应用资源需求存在差异，在同一服务器节点上表现出不同资源消耗。通过对w....

图2.4wordcount在NODE1上Map任务的完成时间

2.4wordcount在NODE1上Map任务的完成2.2中的Terasort的map任务资源消耗量与任务rdcount，wordcount的CPU消耗量多于Terasorasort。测试表明不同的应用在相同的服务器节异。统一的资源分配方案并不能适用于复杂1....

图2.6Terasort1在NODE2上的任务完成时间

图2.6Terasort1在NODE2上的任务完成时间rt的Map任务在NODE1和NODE2上CPU资群服务器节点的处理能力不同，同一应用在不在差异。Teasort的Map任务在NODE1与N。异构服务器节点使用相同的资源分配方案并分布....

本文编号：3915657