同步类型
数据集成离线同步支持全量同步和增量同步。
全量同步
全量同步常用于对恒定的存量数据进行一次性全量同步。
但全量同步也可以对持续更新的数据进行周期性全量同步,例如:每周全量同步数据到一个数据目的的新表里。
全量同步,默认调度类型是一次性定时调度。您可以根据实际情况修改为周期调度。
增量同步
增量同步常用于对持续更新的数据进行周期性增量同步。
但增量同步也可以对恒定的存量数据进行周期性增量同步(例如:每天同步一个模块的数据)或对数据进行单次同步(例如:测试时仅需同步部分数据)。
增量同步,默认调度类型是周期调度。您可以根据实际情况修改为一次性定时调度。
全量同步与增量同步支持的数据源类型
全量同步与增量同步支持的数据源类型如下:
数据源类型 | 全量同步 Source | 全量同步 Sink | 增量同步 Source | 增量同步 Sink |
---|---|---|---|---|
MySQL | 支持 | 支持 | 支持 | 支持 |
SQLServer | 支持 | 支持 | 支持 | 支持 |
PostgreSQL | 支持 | 支持 | 支持 | 支持 |
ClickHouse | 支持 | 支持 | 支持 | 支持 |
MongoDB | 支持 | 支持 | 支持 | 支持 |
ElasticSearch | 支持 | 支持 | 不支持 | 支持 |
HDFS | 支持 | 支持 | 不支持 | 支持 |
HBase | 支持 | 支持 | 不支持 | 支持 |
Kafka | 不支持 | 支持 | 不支持 | 支持 |