数据仓库任务调度管理平台的设计与实现

发布时间：2024-03-05 19:51

　　数据仓库任务调度管理平台可以应用在大数据项目建设上,面对大数据业务应用的日益提高,数据科学与大数据的应用增加,异构系统逐渐增多,响应频率逐步提升,管理水平的要求也随之改进。越来越大的压力作用到数据基础平台上,对这些数据基础平台提出了新的挑战!因此,提出了数据仓库任务调度管理平台的设计与实现。数据仓库任务调度管理平台搭建到操作系统、Java虚拟机、db2数据库管理系统中,不会直接与系统硬件出现接口交互,利用基础系统进行硬件的加载与处理,本平台没有直接设置硬件接口。平台属于Web应用程序,平台中完成编码的技术利用了配置文件、Java代码、JSP页面、Sq1语句。平台设计了前台WEB子系统和后台调度引擎子系统两部分。前台WEB子系统应用模块中的基本调度、日常管理、日常监控、系统管理在JavaEE技术框架下进行开发。后台调度引擎子系统借助三层模式,涵盖Server端、Agent端、作业封装以及公共组件四大部分。数据仓库任务调度管理平台可完成数据仓库的基本调度、日常管理、日常监控、系统管理。其中,基本调度模块包括系统维护、作业组维护、作业维护、作业参数维护、批量维护五大功能。日常管理模块包括节点...

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

系统表结构一致可实现ODS图3数据整合管理实现临时数据层与源

L）获取（E）转换（T）数据区临时数据区ETL控制数据数据源确认、映射数据质量检查数据质量检查数据质量检查DWAutomation任务调度与控制接口数据OLAPCube数据流流程控制专用数据层语义层模型（SDM）针对某个分析应用或者某些用户设计可以是视图公共指标数据层语义层模型（....

图２－２基本调度核心流程??基本调度的过程为：进行系统维护，登记作业组信息，对作业组信息进行覆??盖，判断覆盖是否结束

大业务的建设；后台调度引擎子系统提出了?Ｓｅｒｖｅｒ端、Ａｇｅｎｔ端、作业封装以及??公共组件四大部分。??前台ＷＥＢ子系统的功能包图，如图２－１所示。??！□??〇???基本调度?日常管理??＾?７１??＼?／??＼?／??＼?／??＼?／??＼?１?／??数据仓库任务调度管理....

图２－３作业组执行计划表流程图??重做作业组流程是在当作业组内没有正在执行的作业时，重新执行作业组内??的所有作业

业组添加到执行计划表中输入：作业组ＩＤ或者作业组名称。输出：生成作业组??的执行计划表。??日常作业监控流程，如图２＿３所示。???Ｉ???将作业执行计划??表中执行成功的??计划导入历史表??：?ｉ??Ｉ?！???ｉ???ｉ???查找当天数据到?查找数据与作业??数计划表?关系....

图２－４重做作业组流程图??重做失败作业组流程用于重新执行作业组内的所有失败的作业

有失败的作业。输入：作业组ｒｏ或者作业组名称输出：修改作业组中所有作业??的状态。??重做失败作业组流程，如图２－５所示。??８??

本文编号：3919958