【亲测有用】数据中台数据集成管理能力演示

本文链接：https://blog.csdn.net/AllDataDC/article/details/146146875

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。

✨杭州奥零数据科技官网：http://www.aolingdata.com
✨AllData开源项目：https://github.com/alldatacenter/alldata
✨AllData官方文档：https://alldata-document.readthedocs.io
✨AllData社区文档：https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo
在这里插入图片描述
AllData数据中台的数据集成管理功能，通过提供灵活的配置选项和强大的数据转换能力，使得用户能够轻松地将这些数据源集成到统一的数据平台中，实现数据的集中管理和高效利用。
AllData数据中台数据集成管理支持多种数据源，包括：

1.1 关系型数据库

MySQL
PostgreSQL
Oracle
其他数据库

1.2 非关系型数据库

MongoDB
ElasticSearch
Redis
其他非关系型数据库

1.3 大数据存储

Hadoop HDFS
Hive
Doris
ClickHouse
其他大数据存储

1.4 云服务数据源

阿里云OSS
腾讯云COS
AWS S3

1.5 其他数据源

Excel文件
CSV文件
API接口

二、数据源支持Reader/Writer

在这里插入图片描述

2.1 安装

dataxhttps://blog.csdn.net/hzp666/article/details/127350768

2.2 配置数据源
jdbc:mysql://localhost:3306/studio?useUnicode=true&characterEncoding=utf8

在这里插入图片描述

2.3 配置执行器
在这里插入图片描述

2.4 配置任务模版

在这里插入图片描述

2.5 配置单任务-构建Source

按步骤选择数据抽取库，数据合并库，映射字段，构建datax的可执行json文件。

选择任务模版，点击下一步任务就创建完成了，可以在任务详情里查看。
在这里插入图片描述
2.6 构建Sink

2.7 字段映射

2.8 构建同步任务Json

2.9 选择定时调度任务模版，配置同步任务调度

2.10 查看任务列表
在这里插入图片描述

2.11 最后可以运行的json文件

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1,
        "bytes": 0
      },
      "errorLimit": {
        "record": 100
      },
      "restore": {
        "maxRowNumForCheckpoint": 0,
        "isRestore": false,
        "restoreColumnName": "",
        "restoreColumnIndex": 0
      },
      "log": {
        "isLogger": false,
        "level": "debug",
        "path": "",
        "pattern": ""
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "k32G0hokmB8YLhm0",
            "column": [
              "ACCOUNT_ID",
              "ACCOUNT_PARENT",
              "ACCOUNT_DESCRIPTION",
              "ACCOUNT_TYPE",
              "ACCOUNT_ROLLUP",
              "CUSTOM_MEMBERS"
            ],
            "splitPk": "",
            "connection": [
              {
                "table": [
                  "account"
                ],
                "jdbcUrl": [
                  "jdbc:mysql://8g009:33196/studio?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&serverTimezone=GMT%2B8"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "username": "root",
            "password": "k32G0hokmB8YLhm0",
            "writeMode": "insert",
            "column": [
              "ACCOUNT_ID",
              "ACCOUNT_PARENT",
              "ACCOUNT_DESCRIPTION",
              "ACCOUNT_TYPE",
              "ACCOUNT_ROLLUP",
              "CUSTOM_MEMBERS"
            ],
            "connection": [
              {
                "table": [
                  "account_sink"
                ],
                "jdbcUrl": "jdbc:mysql://8g009:33196/studio?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&serverTimezone=GMT%2B8"
              }
            ]
          }
        }
      }
    ]
  }
}

三、同步结果

3.1 源表同步情况：studio.account表 26条数据

在这里插入图片描述

3.3 目的表同步情况：studio.account_sink表 26条数据
在这里插入图片描述

3.3 问题记录：
中文乱码问题，添加?
useUnicode=true&characterEncoding=utf8解决。

四、注意事项

4.1 数据安全性
在配置数据源和任务时，注意保护敏感信息，如数据库密码等。建议采用加密存储和传输方式，确保数据安全。

4.2 性能优化

由业务需求和数据量大小，合理配置任务调度策略和资源分配，提高数据集成效率。

4.3 故障排查

在任务执行过程中，如遇异常或错误，及时查看日志信息并进行故障排查。
必要时，可联系AllData数据中台的技术支持团队寻求帮助。