Apache DolphinScheduler征稿 — Apache DolphinScheduler 快速入门与部署

最新推荐文章于 2025-03-18 17:14:43 发布

春日安然

最新推荐文章于 2025-03-18 17:14:43 发布

阅读量2k

点赞数 5

分类专栏：尝鲜实战文章标签：工作流大数据

本文链接：https://blog.csdn.net/j1231230/article/details/117770018

版权

本文介绍了Apache DolphinScheduler的背景、特性，并详细阐述了单机部署的全过程，包括Linux环境要求、基础软件安装、数据库初始化、配置修改以及服务的启停。适合大数据领域的初学者和管理员参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. Apache DolphinScheduler 背景

二. Apache DolphinScheduler 介绍

三. Apache DolphinScheduler 特性

四. Apache DolphinScheduler 单机部署流程

一. Apache DolphinScheduler 背景

2017年，易观在运营自己 6.8Pb 大小、6.02 亿月活、每天近万个调度任务的大数据平台时，受到 ETL (数据仓库技术) 复杂的依赖关系、平台易用性、可维护性及二次开发等方面的问题，技术团队渴望找到一个具有以下功能的数据调度工具：

易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程；
不仅对于 ETL 开发人员，无法编写代码的人也可以使用此工具进行 ETL 操作，例如系统管理员和分析师；
解决 “复杂任务依赖” 问题，并且可以实时监视 ETL 运行状态；
支持多租户；
支持许多任务类型：Shell，MR，Spark，Flink，SQL（mysql，postgresql，hive，sparksql，clickhouse等），DataX，Sqoop，Python，Sub_Process，Procedure 等；
支持HA和线性可扩展性。

易观技术团队意识到现有开源项目没有能够达到他们要求的，因此决定自行开发这个工具。

他们在2017年底设计了 DolphinScheduler 的主要架构；2018年5月完成第一个内部使用版本，后来又迭代了几个内部版本后，系统逐渐稳定下来。

二. Apache DolphinScheduler 介绍

Apache DolphinScheduler (Incubator，原 Easy Scheduler) 是一个可视化的分布式大数据工作流任务调度系统，DolphinScheduler 致力于“可视化操作工作流(任务)之间的依赖关系，并可视化监控整个数据处理过程”。简称 ”DS” , 中文名为“小海豚调度”（海豚聪明、人性化，又左右脑可互相换班，终生不用睡觉）。

DolphinScheduler 以有向无环图 (DAG) 的方式将任务组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill 任务等操作。

Apache DolphinScheduler 于 17 年在易观数科立项，美国时间 2019 年 8 月 29 号正式通过顶级开源组织 Apache 基金会的投票决议，以全票通过的优秀表现正式成为了 Apache 孵化器项目，目前已累计有 400+ 公司在生产上使用。