面向回填优化的vasp作此执行时间预测的研究

发布时间：2024-03-26 19:31

　　近年来各领域对高性能计算的需求与日俱增,服务商为了迎合计算需求通常需要在硬件资源上投入大量资金,而大部分平台的资源利用率却并不高,故集群资源的有效利用成为一个亟待解决的问题。众所周知,调度策略是联系上层作业和底层硬件资源的中枢,其对资源利用以及用户体验影响显著。而目前国内大部分高性能计算集群通常采用先来先服务等传统的作业调度方法,因为此类调度方法实现简单、实用性很强。然而,为了保证公平性原则,当需要调度一个资源需求较大而现有空闲资源不能满足的大作业时,往往需要为其预留资源,这就容易产生大量闲置的资源碎片。针对上述问题,一种比较普遍的策略是使用回填,它优化了资源碎片的利用,但好的回填依赖于对作业执行时间的预知,而由于作业预估执行时间的缺失使得回填调度很难在生产系统中运用,故对作业执行时间的预测也是亟待解决的问题。鉴于vasp是国内应用最普及的高性能计算应用软件之一,在我校TC4600平台上,其作业数占比约43%,机时占比约50%,故对vasp作业时长进行预测具有重要意义。本文分析了 vasp作业特性,通过解析日志及输入文件来抽取相应的作业特征集,基于这些特征集提出一种基于stacking...

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

图１．３?ＴＣ４６００集群各应用机时占比分布??

?—Ｅｌ?ｆ?１１??图１．２回填优化思想示意图??然而，由于高性能计算集群中作业种类繁多以及作业之间的内部差异甚大，??对所有类型的作业进行时长预测工作量巨大甚至是不现实的，而鉴于ｖａｓｐ是国??内应用最为普及的高性能计算软件之一，所以对于ｖａｓｐ作业时长的预测问题非??常值得....

图１．２回填优化思想示意图??

常值得被关注。本文的所有工作都是基于中科大超算中心的“曙光ＴＣ４６００百万??亿次超级计算机系统”（以下简称”?ＴＣ４６００集群“）上的作业数据，ＴＣ４６００集群??上各种应用的机时分布信息如图１．３所示，ｖａｓｐ作业机时占比将近５０％，据统计，??ｖａｓｐ作业数占比也接近４０％....

图２．１?Ｅａｓｙ?Ｂａｃｋｆｉｌｌｉｎｇ策略的不良影响??１］??

第２章相关研究与技术??（ａ）对当前的资源时空图进行遍历，找到满足该作业ＣＰＵ核数需求的第??一个时间点，该时间点即为该作业对应的插入点。??（ｂ）从该作业对应的插入点开始，遍历资源时空分布图，检查集群剩余??ＣＰＵ核在该作业执行完毕前的这段时间内是否一直可以满足该作业??的执行....

图３．１?用户??

业时长预测问题建模??平台作业时长预测问题有一个全相关角色和对象进行建模和分析，来分析对作业执行时间有影响的因的最终目的以及使用场景，明确的用户可以租用集群的计算资源，使用权。用户可以提交任务，产生ｒｏｕｐＩＤ、ｎａｍｅ，支持提交作业、删

本文编号：3939577