背景:
由于业务场景需要展示作业之间的依赖关系,由于一些开源的插件和当前的业务逻辑有一些冲突,个人打算尝试从零开始,一点点实现自己的DAG图。同时用博客记录自己实现过程和总结,不正确的地方,欢迎指正提升。
场景分析:
- 数据开发中常常有作业之间的依赖,在执行作业的时候,可能会出现有些作业失败,或者重试,这时候,运维或者开发的人,需要有一个很直观的图去展示作业之间的依赖,这时候DAG 依赖流程图就是一个很好的展现形式。
- 大数据场景下,可能会出现很多节点,甚至可能达到上千,甚至上万的节点,节点之间的边有可能也会很多,大的数据下,图的渲染时间需要考虑在内
- 用户有可能在看了图之后,想直接重跑或者查看某个节点的上下游节点,等等运维操作
- 用户可能需要图拖动某个算子,点击某个算子,复制某些算子的名称等一些操作
实现目标:
基于以上客户的要求,我们大致明确要实现目标和需求,梳理如下
- 用图的方式展示作业之间的依赖,基本能力要达到
- 图要能够支撑大数据场景,在很多节点下
- 节点之间布局清晰
- 节点的之间的连线不要重叠,少交叉
- 图能够支持缩放,拖动
- 图中节点支持拖动
- 图要支持运维能力
- 悬浮某个节点 ,展示该节点的上下游,能够区分上下游节点
- 选中某个节点,以及支持选中某个节点全部上游或者下游