- 博客(611)
- 资源 (3)
- 问答 (29)
- 收藏
- 关注
RSS订阅
原创 数据平台调度升级改造 | 从Azkaban 平滑过度到Apache DolphinScheduler 的操作实践
Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能，导致用户上手难体验差。在技术层面，架构过时，持续迭代难度大。基于这些情况，经过竞品对比和调研后，Fordeal数据平台新版系统决定基于Apache DolphinScheduler进行升级改造。...
2022-06-16 18:00:04
1070
原创 实战分享：DolphinScheduler 中 Shell 任务环境变量最佳配置方式
在使用 Apache DolphinScheduler 编排任务的过程中，Shell 类型任务是最常见的任务类型之一。然而，很多用户在实际使用中都会遇到一个看似简单却常常引发问题的问题——环境变量怎么设置才有效？
2025-05-27 18:03:59
678
原创 Apache DolphinScheduler存储系统详解| AI生成技术文档系列
Apache DolphinScheduler 的存储系统提供统一接口，支持跨多种存储后端（如本地文件系统、云存储）进行文件存取。其核心功能是管理工作流和任务所需的资源文件（如脚本、JAR包、配置文件），并通过抽象底层存储技术，实现无缝切换存储方案而无需修改应用代码。
2025-05-27 16:19:31
622
原创 第四期评选结果公示！Apache DolphinScheduler社区答疑Star揭晓
Apache DolphinScheduler社区答疑Star第四期评选活动圆满完成啦！
2025-05-23 15:33:18
320
原创 基于DolphinScheduler抽取通用EventBus组件：支持延迟与事件驱动
在Apache DolphinScheduler项目中，有一个eventbus的组件，这个组件写得挺好的，想着用在业务系统上，因此自己抽取了一下，拿到业务系统中来用。
2025-05-19 18:33:00
357
原创 升级遇到坑？一文带你搞定DolphinScheduler 2.0到3.0升级
因项目需要使用数据质量模块功能，可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上，此次选择测试了3.0.1 和 3.1.1 两个版本，对进行同数据等任务调度暂停等操作测试，最后选择3.0.1 版本。
2025-05-14 15:08:44
759
原创 Apache DolphinScheduler社区答疑Star第三期评选结果公示
Apache DolphinScheduler社区答疑Star第三期评选活动圆满完成啦！
2025-05-14 14:53:51
862
原创 HTTP接口数据也能定时同步入湖？用DolphinScheduler×SeaTunnel快速搞定！
我们之前曾评估使用过SeaTunnel做CDC入湖验证：SeaTunnel-CDC入湖实践，这些场景都是能直连数据库的场景，业务需求中经常会出现无法直连数据库做CDC进行数据同步的场景，而这些场景就需要使用API进行数据对接，用Apache DolphinScheduler定时同步数据。
2025-05-09 10:35:40
267
原创 任务运维、循环任务死锁.....DolphinScheduler任务配置经验分享
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些任务配置实际经验，分享如下。
2025-04-28 17:26:41
721
原创 【实战】一招搞定Shell调度！DolphinScheduler+ProcessBuilder超详细教程
本文将介绍在DolphinScheduler中使用ProcessBuilder执行Shell命令的方法。
2025-04-28 17:18:55
274
原创 白鲸开源与亚马逊云科技携手推动AI-Ready数据架构创新
在昨日举办的2025亚马逊云科技合作伙伴峰会圆桌论坛上，白鲸开源创始人兼CEO郭炜作为嘉宾，与亚马逊云科技及其他行业领袖共同探讨了“”这一重要话题。此次论坛由亚马逊云科技大中华区解决方案架构师高级经理Dickson Yue主持，吸引了众多行业关注的目光。
2025-04-25 09:51:23
1150
原创 白鲸开源WhaleStudio与崖山数据库管理系统YashanDB完成产品兼容互认证
近日，北京白鲸开源科技有限公司与深圳计算科学研究院联合宣布，双方已完成产品兼容互认证。
2025-04-24 10:11:59
452
原创 开源之夏2025 Apache DolphinScheduler课题宣讲
点击链接获取宣讲直播回放+PPT资料: https://www.whaleops.com/846839-846849.html?
2025-04-23 10:15:00
228
原创 DolphinScheduler开发者必看！IDEA本地调试实战指南
本文整系统梳理了在IDEA中搭建Apache DolphinScheduler本地调试环境的通用流程，包括环境准备、远吗配置、服务启动等核心步骤，供大家参考。
2025-04-23 10:08:16
320
原创 金融行业数字化转型破局：WhaleScheduler如何重塑万级任务调度体系？
WhaleScheduler构建了既解决当下痛点又面向未来演进的立体化技术体系。这种多维协同的工程哲学，使得平台既能将任务失败率从8.7%压降至0.3%，又为金融业智能化转型提供了可扩展的技术基座。
2025-04-16 10:32:39
700
原创 修改下内存配置，DolphinScheduler CPU飙升问题秒解决
某公司在迁移从阿里云DataWorks到自建大数据平台过程中，遇到海豚调度器在定时任务触发时导致CPU负载激增甚至系统崩溃的问题。经过排查，发现并非任务数量过多引起，而是调度器配置不当。通过调整海豚调度器的线程数和CPU限制值，成功解决了CPU飙升问题，确保了任务的平稳运行。参考此案例，用户在调整线程数时需平衡机器负载和并发任务需求。
2025-04-16 10:28:32
568
原创 21日报名截止！CommunityOverCode Asia 2025议题征集倒计时
今年，我们将在北京，再次向全球开源爱好者与 Apache 用户及开发者们发出邀请 —— 今年 7 月 25-27 日，CommunityOverCode Asia 2025 将落地北京。
2025-04-15 18:13:19
986
原创 3月报|DolphinScheduler项目进展一览
各位热爱 Apache DolphinScheduler 的小伙伴们，社区3月报来啦！来查看上个月项目的进展吧！
2025-04-15 18:10:05
504
原创 Apache DolphinScheduler社区答疑Star第一期评选结果公示
在广大社区成员的积极参与下，Apache DolphinScheduler社区答疑Star第一期评选活动圆满落幕！
2025-04-11 15:24:49
799
原创 喜讯！白鲸开源入选智联联盟2024年度软件研发优秀案例
通知附件中详细列出了第二批2024年度软件研发优秀案例获奖名单，其中白鲸开源以《调度系统助力国内头部券商中信建投打造国产信创化DataOps平台》入选优秀新动能案例。
2025-04-10 10:22:50
222
原创 Apache DolphinScheduler 3.3.0 Alpha发布，功能增强与性能优化大升级！
近期，Apache DolphinScheduler进行了版本更新，发布了3.3.0 alpha版本。Apache DolphinScheduler 3.3.0 alpha版本在任务管理、容错能力、扩展性等方面实现跨越式升级，为大规模工作流调度提供更稳定、灵活的解决方案。但需要提醒的是，此版本为alpha版本，请谨慎更新使用。
2025-04-09 15:05:17
971
原创 5分钟掌握！DolphinScheduler时间参数动态配置秘籍
在 DolphinScheduler 中，调度时对时间参数的使用非常重要，尤其是当你在数据处理、ETL 任务或其他需要依赖时间范围的任务场景中。DolphinScheduler 允许通过多种方式灵活地配置时间参数，以适应不同的任务调度需求。
2025-04-09 14:51:31
946
原创 来到DolphinScheduler大家庭，成为大数据调度的传播者！
亲爱的社区小伙伴们，Apache DolphinScheduler 2025年 Meetup 讲师&议题开始征集。提升自我价值，实现自我“破圈”，这里是你最好的舞台，快来一起开启你的技术传播之旅吧！
2025-04-02 11:17:52
495
原创 GSoC谷歌编程之夏2025招募中，Apache DolphinScheduler需要你的提案！
GSoC谷歌编程之夏活动火热进行中！今年，Apache DolphinScheduler项目也依然参与其中，设立了有趣且有挑战性的项目任务，与通用OIDC认证有关。欢迎有才华的你们来挑战！
2025-04-02 11:13:03
746
原创 纯干货 | Dolphinscheduler Master模块源码剖析
此前我们曾用万字长文解释了Apache DolphinScheduler的Worker模块源码，今天，我们再来一起看看Master模块源码的原理。
2025-03-31 14:38:54
830
原创 网易邮箱DolphinScheduler迁移实战：从部署到优化，10倍效率提升的内部经验
随着互联网的飞速发展，电子邮件作为重要的信息交流工具之一，其数据处理和任务调度的需求日益增长。网易邮箱作为国内领先的电子邮件服务提供商，为了更好地应对海量数据的处理和任务调度挑战，引入了DolphinScheduler平台，并在实际应用中进行了深入的部署与优化实践。
2025-03-27 10:10:39
749
原创 巧用输出变量，提升Dolphinscheduler工作流灵活性和可维护性
输出变量是 DolphinScheduler 任务调度中实现数据流动与任务协作的核心机制，通过显式定义和传递参数，解决了跨节点数据共享、优先级冲突等问题，同时支持复杂流程编排（如子流程、条件分支）。合理使用输出变量能显著提升工作流的灵活性和可维护性。本文将介绍 DolphinScheduler 中重要的输出变量及其使用方法。
2025-03-19 17:30:00
833
原创 让海豚替你跑SQL！DolphinScheduler高效配置三步曲
今天，让我们来深入探讨DolphinScheduler中一种常见的任务类型：SQL任务。
2025-03-18 17:10:40
415
原创 2025年开源世界：系好安全带，颠覆即将来临！
在新的一年中，预计会出现有关许可、开源 AI 定义、安全与合规以及如何支付志愿维护者报酬的新紧张局势。
2025-03-14 09:34:38
632
原创 网易邮箱如何用大数据任务调度实现海量邮件数据处理？Apache DolphinScheduler用户交流会上来揭秘！
一定不要错过这场精彩的线上用户交流会！在这里，你将有机会深入了解网易邮箱关于Apache DolphinScheduler平台的实际应用案例，汲取大厂的前沿实践经验。
2025-03-10 15:57:20
431
原创 Apache DolphinScheduler项目2月份进展总结
各位热爱DolphinScheduler的小伙伴们，今年2月份的社区月报如期而至，更新了DolphinScheduler项目和社区在本月的重大进展，请查收！
2025-03-10 15:47:31
324
原创 工作流调度必看！2025年这四大核心趋势你不能不懂
未来工作流调度技术将呈现“四化”特征： 智能化（AI渗透）、轻量化（Serverless/容器化）、泛在化（边缘-云协同）、可信化（安全自治）。技术突破的核心在于打破传统架构边界，实现资源、数据与智能体的深度协同，同时需平衡性能、成本与可持续性。企业需关注工作流调度与AI和云原生技术的融合实践，并提前布局量子计算等前瞻领域，以抢占下一代调度系统的制高点。
2025-03-04 18:20:49
942
原创 Worker模块源码实战：万字长文解析DolphinScheduler如何实现亿级任务调度
Apache DolphinScheduler的Worker模块是其分布式调度系统的核心组件之一，负责任务执行、资源管理及集群动态调度。本文将通过源码剖析，揭示其设计思想与实现细节.
2025-03-03 16:42:24
1046
原创 不重视数据质量，企业要出大问题！
在数字化浪潮席卷全球的当下，数据已然成为企业的核心资产，宛如血液一般流淌于企业运营的每一个脉络之中。从市场趋势的精准洞察，到产品研发的创新方向把控；从营销策略的制定与优化，再到客户关系的精细化管理，企业的每一项关键决策都深深依赖数据的支撑。而数据质量，作为这一系列决策的基石，其重要性不言而喻。
2025-02-26 16:05:51
660
原创 看过来！Apache DolphinScheduler版本升级指南
如果只是跨小版本的更新，那么只用执行脚本就好了，但跨多个大版本升级时依然容易出现一些问题，特此总结。
2025-02-25 10:30:46
956
原创 当任务失败时，顶级调度系统如何实现分钟级数据补偿？
补数（Backfill）** 指在数据管道因系统故障、数据延迟或逻辑错误导致历史任务缺失时，重新调度并执行指定时间范围内的工作流以修复数据缺口。在大数据场景中，补数机制需解决三大核心挑战。
2025-02-21 17:26:22
600
原创 DolphinScheduler环境搭建、服务启动等常见问题及解决方案
Apache DolphinScheduler 作为一款分布式易扩展的工作流调度系统，广泛应用于大数据任务编排。然而，在实际使用中，用户可能会遇到环境搭建、服务启动、工作流执行等问题。本文结合社区文档与用户实践经验，整理以下高频问题及详细解决方案，帮助用户快速定位并解决问题。通过以上解决方案，用户可系统化应对 DolphinScheduler 的常见问题。若问题仍未解决，建议结合日志分析与社区支持进一步排查。：目前生产环境中推荐使用哪个稳定版本？Python SDK 兼容性。
2025-02-18 14:28:35
1150
Apache DolphinScheduler高效支撑企业大数据核心业务 - 代立冬.pptx
2020-11-30
新一代大数据任务调度 - Apache DolphinScheduler介绍&Roadmap
2020-11-24
开源时代
2021-03-31
Apache DolphinScheduler的全球交流工具是？
2021-01-28
DolphinScheduler Docker 镜像仓库在？
2021-01-26
工作流定义执行后 为啥需要到工作流实例 再走任务实例？ 能否直接省去工作流实例？
2021-01-04
欢迎大家来社区提问哈，看看遇到了什么问题？
2020-12-31
想参与贡献，不知道该如何参与？
2020-12-21
上游依赖未成功，下游任务可以一直等待么？
2020-12-14
Apache DolphinScheduler准备什么时候申请毕业，成为顶级项目呢？
2020-12-08
哪里有关于 DolphinScheduler 的分享(PPT | 视频)？
2020-12-08
想参与社区贡献，不知如何参与？
2020-12-04
DolphinScheduler支持mysql 8 作为数据库么？
2020-12-03
DolphinScheduler单机部署有教程么？
2020-11-30
在哪里下载DolphinScheduler安装包呢？
2020-11-27
为什么要参与开源贡献？
2020-11-27
Python 任务如何设置 Python 的版本？
2020-11-26
DolphinScheduler流程定义有几种启动方式
2020-11-26
DolphinScheduler的用户案例
2020-11-25
DolphinScheduler 主要能力体现在哪些方面？
2020-11-25
DolphinScheduler有多少家公司在生产上使用？
2020-11-25
DolphinScheduler系统支持哪些邮箱？
2020-11-23
DolphinScheduler 服务介绍及建议运行内存
2020-11-23
遇到问题，如何得到社区的帮助
2020-11-23
DolphinScheduler项目的官网地址是？
2020-11-23
如何参与DolphinScheduler社区？
2020-11-23
如何在线试用Demo？
2020-11-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人