高可用分布式任务调度与执行系统设计与实现

发布时间：2020-07-19 04:55

【摘要】：本文选题基于研究生阶段实习过程中参与开发的用于互联网产品大数据处理的系统项目。该互联网产品有着千万级别的用户基数和稳步增长的用户数量,为了区分出不同用户,与目标用户产生互动从而保持用户忠诚度以及激发新用户的兴趣,因此需要对现有的全量用户的相关数据进行处理,筛选出目标用户以及相关信息。因为该互联网产品的全部用户相关数据都存储在关系型数据库中,传统处理数据的方法是采用多线程编程单机部署程序的方式,但是该方式存在执行效率低,复用性差的问题。另一种方法是将目标数据全部迁移到非关系型数据库中,然后使用成熟的大数据处理工具处理相关的大规模数据,但是该方式存在基于当前复杂的物理存储模型构建数据完整性的迁移模型十分困难的问题。面对这些问题,本论文从实际的业务需求出发结合对分布式技术的研究设计并实现了一个基于Zookeeper的高可用分布式任务调度与执行系统。该系统由与外界环境交互的统一网关模块、拆分及分配数据处理任务的任务调度及分配模块、执行数据处理任务的任务执行模块、保证系统高可用性的高可用性保障模块和日志模块构成。这样的设计与实现方式,使得该系统可以接收任意类型的且目标数据在关系型数据库中的各种数据处理任务,通过单独的任务调度及分配模块和可扩展的任务执行模块可以满足不同任务量的多任务数据处理需求。并且本系统在设计与实现时考虑到任务调度及分配模块在系统中的重要性和系统多任务处理的必要性,设计并实现了系统的高可用保障模块,系统使用两台机器部署任务调度及分配模块,分别为一个工作节点和一个备用节点,通过备用节点自动顶替出现故障的工作节点的方式来实现本文系统的高可用性。通过完整的功能测试与性能测试,表明本文所实现的高可用分布式任务调度及执行系统的功能符合预期,大数据量数据处理任务的执行效率远高于传统多线程编程单机部署程序的执行效率,并且理论上系统可以通过增加任务执行节点的方式提升整个系统的任务处理能力。最终本文实现的系统具有相当良好的业务独立性,相关扩展性,高可用性等特点。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：F49;F274;TP311.52
【图文】：

下的任务分配情况与预期目标一致。任务分配节点已经将离线的执行节点的任务分配给了目前在线的另一个节点，测试通过。图5.1 任务分配示例图表5.4 任务重新分配测试用例编号 test_0003名称 任务重新分配测试用例目的在系统执行任务的过程中，有任务执行节点发生会话丢失的情况下，测试任务分配节点接收到相关事件通知后重新根据任务执行节点的健康状况重新分配相关任务。前置条件确保任务分配节点，任务执行节点已经启动，并与 Zookeeper 建立了会话，且Zookeeper 下已经分配了相应任务给任务执行节点。执行步骤1. 启动系统环境，并且启动任务执行节点与任务分配节点。2. 使其中之一的任务执行节点与 Zookeeper 失去会话。3. 查看 Zookeeper 中相应节点下的数据内容。预期结果任务分配节点接收到任务执行节点离线的消息后将任务重新分配给目前系统中一个健康的任务执行节点，并在 Zookeeper 上的 task 节点下，有相应的任务重新分配的信息。5.3.3 任务执行模块测试任务执行模块的主要任务就是执行由任务分配模块分配给当前节点的任务，并将

任务执行节点执行任务完成后会将执行任务的结果状态同步到 Zookeeper 的task 节点下，可以查看 Zookeeper 的 task 节点下相应信息是否发生更改。图5.2 任务执行节点更新任务状态示例图如表 5.5 所示首先启动系统中的各个任务分配节点以及任务执行节点，并保证各节点与 Zookeeper 建立会话。查看相应的信息是否存在于 Zookeeper 中，模拟任务分配节点分配任务给任务执行节点，任务执行节点执行任务完毕后将信息同步到Zookeeper 的 task 节点下。经测试，如图 5.2 所示，查询 Zookeeper 的 task 节点下的任务状态由原来的 0（初始化状态）更改为当前的 2（执行成功状态），测试通过。

名称 任务分配节点故障恢复测试用例目的在系统执行任务的过程中，任务分配节点很可能因为各种原因发生故障从而与系统中的其他节点处于无法通信状态，测试系统是否具有任务分配节点在当前情况下能够通过使用备用的任务分配节点自动恢复的方式来保证系统的高可用性。前置条件确保任务分配节点，任务执行节点已经启动，备用任务分配节点已启动，并与 Zookeeper 建立了会话。执行步骤1. 启动系统环境，并且启动任务分配节点与备用任务分配节点。2. 确保所有节点与 Zookeeper 建立了会话。3. 停掉当前系统中的任务分配节点。4. 通过观察 Zookeeper 下 master 节点的方式，查看备用的任务分配节点是否成功上线顶替故障节点。预期结果任务分配节点离线后，备用任务分配节点接收到相关消息，在等待一个周期的 Zookeeper 同步周期后，顶替掉出故障的任务分配节点。

【相似文献】

相关期刊论文 前10条

1 段們們;;基于云计算的舰船大规模任务调度优化[J];舰船科学技术;2019年06期

2 李军;王钧;陈健;陈慧中;郭玉华;;基于多目标遗传算法的卫星成像任务调度技术[J];系统工程与电子技术;2007年07期

3 梁浩,吴洲;电子商务中供应链任务调度问题的研究[J];中国机械工程;2003年16期

4 陈军;谢立;孙钟秀;;分布式任务调度研究的新趋向[J];计算机研究与发展;1990年04期

5 ;简讯[J];成都电讯工程学院学报;1988年02期

6 刘心松,李健;分布式计算机系统中的任务调度[J];计算机应用;1989年01期

7 吕英,李教材,房其敏;周期性混合任务调度[J];计算机工程与设计;1989年01期

8 周聪敏;;基于云计算的资源延迟感知任务调度优化[J];信息与电脑(理论版);2019年24期

9 李晨蕾;;云计算环境下基于蚁群算法的任务调度研究[J];科技创新导报;2019年02期

10 丁志锋;;云计算环境下用户任务调度效率优化仿真[J];计算机仿真;2017年04期

相关会议论文 前10条

1 张磊;马军;;描述短时资源混杂占用型任务调度的数学模型与算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年

2 刘培培;李连;丛海鹏;谢勇;;基于多代理协商机制的任务调度系统研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（下）[C];2006年

3 张晓云;岳继光;杨麟祥;;零星任务调度在多控制任务系统中的应用[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年

4 常中祥;杨文沅;陈宇宁;周忠宝;姚锋;;成像时长可变的视频卫星成像任务调度问题分析[A];第六届高分辨率对地观测学术年会论文集（上）[C];2019年

5 韩云;于炯;张伟;王命全;;基于负载均衡的任务调度改进算法[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

6 王全民;王靓;许智宏;;网格环境中基于蚁群算法的批量任务调度的研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（上）[C];2006年

7 刘宇;刘玉荣;周冰;;基于WCF的环境减灾星座运控任务调度系统[A];第二十五届全国空间探测学术研讨会摘要集[C];2012年

8 罗斯宁;王化龙;李弘宇;彭蔚;;基于改进蚁群算法的云计算用户任务调度算法[A];生态互联 数字电力——2019电力行业信息化年会论文集[C];2019年

9 杨舰;黄道平;李小亚;;GDCS任务调度的SPN模型研究[A];第二十六届中国控制会议论文集[C];2007年

10 唐琴琴;刘旭;张亚生;何辞;李诚成;谢人超;黄韬;;边缘计算在星地协同网络中的应用探讨[A];2019全国边缘计算学术研讨会论文集[C];2019年

相关重要报纸文章 前10条

1 记者 常娜;全市城市基层党建重点工作任务调度会召开[N];鄂尔多斯日报;2019年

2 曲芳 戴江勇 龚界文 院宣 肖文正 杨丽;坚决落实型号任务调度令[N];中国航天报;2008年

3 记者 秦娜;我省建立大气污染防治目标任务调度预警通报制度[N];甘肃日报;2015年

4 综合编译 刘琦;Windows HPC Server 2008新特性解读[N];中国计算机报;2009年

5 记者 谢霄凌;我市部署清理整治奢华浪费建设及专项整治任务[N];邢台日报;2014年

6 何川 方兴;运筹帷幄决胜千里[N];计算机世界;2001年

7 记者 张雷峰;贯彻落实好省相关会议精神 确保活动取得更大成效[N];张家口日报;2014年

8 文海燕;统一认识 强化责任 确保完成目标任务[N];永州日报;2006年

9 记者 王彬;全力促增收 确保完成全年目标[N];济南日报;2012年

10 王波;Linux与服务器集群技术[N];中国计算机报;2002年

相关博士学位论文 前10条

1 刘林东;分布式异构环境中任务调度算法研究[D];华南理工大学;2019年

2 徐海燕;带有学习与恶化效应的任务调度优化方法[D];东南大学;2017年

3 柳运昌;多媒体云资源提供与任务调度技术研究[D];武汉理工大学;2016年

4 何华;云计算的调度策略研究与性能分析[D];天津大学;2017年

5 鲁亮;大数据流式计算框架的任务调度优化方法研究[D];新疆大学;2018年

6 宾雪莲;实时系统中的任务调度技术研究[D];国防科学技术大学;2004年

7 吴琦;嵌入式操作系统功耗管理技术研究[D];电子科技大学;2006年

8 王涛;实时系统任务调度若干关键技术的研究[D];哈尔滨工程大学;2006年

9 陆平;云计算应用中的任务调度与资源分配的协同优化[D];中国科学技术大学;2017年

10 黄万伟;基于服务属性区分的可重构任务调度研究[D];解放军信息工程大学;2009年

相关硕士学位论文 前10条

1 刘远祥;MEC系统的计算资源分配及任务调度研究[D];重庆邮电大学;2019年

2 刘慕寒;基于异构多处理器的关键任务调度平台的设计与实现[D];哈尔滨工业大学;2019年

3 刘桂鹏;面向大规模信号深度搜索的云平台任务调度与资源组织方法[D];国防科技大学;2017年

4 王小岗;带返工且可中断的设计任务调度研究[D];广东工业大学;2019年

5 望世杰;智能装备WCS总控管理系统的设计与实现[D];西安电子科技大学;2019年

6 王昆;高可用分布式任务调度与执行系统设计与实现[D];西安电子科技大学;2019年

7 潘耀辉;制造车间多模式资源受限AGV任务调度研究[D];大连理工大学;2019年

8 尹亚日;基于改进粒子群和蚁群的云计算任务调度研究[D];南京邮电大学;2019年

9 崔倩娜;带惩罚费用的多维（重）任务调度问题[D];云南大学;2018年

10 蔡宇;基于多目标优化的云计算任务调度策略研究[D];重庆邮电大学;2018年

本文编号：2761941