数据集成

 

同步类型

更新时间 2023-09-06

数据集成离线同步支持全量同步和增量同步。

全量同步

全量同步常用于对恒定的存量数据进行一次性全量同步

但全量同步也可以对持续更新的数据进行周期性全量同步,例如:每周全量同步数据到一个数据目的的新表里。

全量同步,默认调度类型是一次性定时调度。您可以根据实际情况修改为周期调度。

增量同步

增量同步常用于对持续更新的数据进行周期性增量同步

但增量同步也可以对恒定的存量数据进行周期性增量同步(例如:每天同步一个模块的数据)或对数据进行单次同步(例如:测试时仅需同步部分数据)。

增量同步,默认调度类型是周期调度。您可以根据实际情况修改为一次性定时调度。

全量同步与增量同步支持的数据源类型

全量同步与增量同步支持的数据源类型如下:

数据源类型 全量同步 Source 全量同步 Sink 增量同步 Source 增量同步 Sink
MySQL 支持 支持 支持 支持
SQLServer 支持 支持 支持 支持
PostgreSQL 支持 支持 支持 支持
ClickHouse 支持 支持 支持 支持
MongoDB 支持 支持 支持 支持
ElasticSearch 支持 支持 不支持 支持
HDFS 支持 支持 不支持 支持
HBase 支持 支持 不支持 支持
Kafka 不支持 支持 不支持 支持
这篇文档解决了您的问题吗?
0
0