DATAX学习笔记（一）简介

1.简介

datax是离线数据同步工具。

2.支持的数据源

MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、StarRocks

3.原理

datax将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中
Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

4.参考文章

https://zhuanlan.zhihu.com/p/515541286
https://www.modb.pro/db/616130