离线数据同步工具 - DataX

DataX离线数据同步工具能同步包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源间的数据。

DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader,以及向目标端写入数据的Writer。

理论上DataX框架能支持任意数据源的数据同步工作。同时DataX插件作为一套生态系统, 每接入一套新数据源只需加入对应的Reader和Writer插件即可实现与现有数据源的互通。

DataX目前的插件比较全面,支付主流的RDBMS数据库、NOSQL、大数据平台,详情参考:DataX数据源参考指南

插件开发手册:

https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md