dwetl

大数据平台任务调度系统

功能定位

• 允许用户上传任务，基于用户上传的任务，进行调度执行
• 支持时间触发的任务调度、依赖触发的任务调度
• 支持任务间依赖关系的解析
• 支持调度本地计算任务、hadoop任务、spark任务
• 支持分布式部署，支持每天百万量级任务调度
• 支持通过界面，查看任务依赖关系的DAG图，查看任务进度，控制任务的执行
• 任务可配置出错自动重试次数，及发送告警短信
• 失败任务重启后，可以自动触发依赖该任务的任务继续执行
• 每个任务的执行日志保存到独立文件，支持配置保存周期

开发规划

• 采用Python语言
• 前期 总体架构设计
• 一期 任务调度逻辑
• 二期 任务上传
• 三期 界面控制
• 四期 服务分布式部署

架构设计

部署使用