数据平台工作空间设计简述

文章介绍了企业如何通过数据源管理系统、数据集成开发、权限控制系统和资源组管理来实现数据开发的权限隔离、提高开发效率和数据安全。用户权限被精细化管理,包括数据表权限、开发组角色权限和平台角色权限。在开发组改造后,数据流转过程更加严格,每个开发组有自己的执行账号和资源队列,确保了任务的隔离执行和成本控制。文章还提到了任务迁移工具和未来的租户化改造计划,以支持更多数据分析需求。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. 背景概述

为了支持更多的数据分析师参与到公司整体的数仓建设和数据开发、数据分析工作;加快公司整体的数据资产化进程和支持商家侧数据的客群分析、精准营销等产品功能。提高公司各业务部门的数据开发效率和数据可视化分析能力。

  1. 逻辑架构

上图中:

  1. 数据源管理系统进行数据源实例级别的隔离;
  2. 数据集成开发进行数据同步到数据仓库层,保证逻辑数据空间的数据库表的权限隔离;
  3. 数据开发中的离线和实时开发对数据仓库间进行受控的数据权限分享控制,支持数据表行列级权限的控制;
  4. 任务提交运行后,资源组管理系统对开发组内的任务进行独立执行队列的隔离控制,同时进行计算资源的成本统一结算;
  5. 数据仓库分析完成的应用层数据,对接数据服务层;在同一个工作空间内,完成数据可视化开发和数据API开发控制;

从而达成从下向上的全链路逻辑工作空间的隔离和权限管控;下文将逐个子系统进行改造或改进点的阐述。

  1. 用户权限

在加入开发组的空间管理功能后,用户视角下有以下调整:

对于上文描述的数据集成任务开发、数仓开发等场景下,用户由原来的单平台层面的操作逻辑调整为在开发组内进行隔离操作的。此外,新增的流程控制包括: 开发组的加入和管理流程,数据表权限获取等审批流程,开发组内的任务操作和管理审批流程,开发组间数据分享的审批流程等

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微盟技术中心

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值