配置 ClickHouse 数据来源
本文为您介绍 ClickHouse 作为数据来源时,需要配置的参数及配置示例。
前提条件
开始配置 ClickHouse 数据源前,请先添加数据源,详细操作请参见新增 ClickHouse 数据源。
类型转换列表
分类 | 支持的 ClickHouse 数据类型 |
---|---|
整数类 | TINYINT、SMALLINT、INT、BIGINT |
浮点类 | FLOAT、DOUBLE、DECIMAL |
字符串类 | STRING、VARCHAR、CHAR、NULL |
日期时间类 | TIMESTAMP、DATE |
布尔型 | BOOLEAN |
二进制类 | BINARY |
参数说明
参数 | 类型 | 是否必填 | 描述 |
---|---|---|---|
table | string | 是 | 选择需要同步的表名称。一个数据集成作业只能同步数据到一个目标表。 说明 如果配置的表不存在,会导致作业运行失败。 |
where | string | 否 | where 过滤语句。 说明 需填写 SQL 合法 where 子句。不需要填写 where 关键字。 |
splitPk | string | 否 | 如果指定 splitPk,表示您希望使用 splitPk 代表的字段进行数据分片,数据同步会启动并发任务进行数据同步,提高数据同步的效能。 注意 推荐使用表主键进行切分,仅支持整型数据切分。 如果通道设置中 channel 大于 1,必须配置此参数。 |
column | list | 是 | 配置所选表中需要同步的列名。 说明 如果读取的列不存在,会导致作业运行失败。 |
向导模式开发介绍
打开已创建的离线-批量同步作业,即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业(向导模式)。
您需要在作业的开发页面进行以下配置:
参数 | 说明 |
---|---|
数据源 | 选择已添加的数据源。 |
数据源表 | 即上述参数说明中的 table 。 |
条件参数配置 | 配置需要同步数据的过滤条件。即上述参数说明中的 where 。 |
切分键 | 即上述参数说明中的 splitPk。建议使用主键作为切分键,仅支持类型为整型的字段。 读取数据时,根据配置的字段进行数据分片,实现并发读取,可以提升数据同步效率。 说明 切分键与数据同步中的选择来源有关,配置数据来源时才显示切分键配置项。 |
条件参数配置
仅离线增量同步需要进行条件参数配置。
可视化方式
参数 | 说明 |
---|---|
列名 | 选择需要过滤的列名。 |
开始条件 | 配置过滤的开始条件。 |
结束条件 | 配置过滤的结束条件。 |
生成条件参数 | 根据上述配置信息自动生成条件参数表达式。 |
表达式方式
条件参数配置默认使用可视化方式,您可以根据使用习惯切换为表达式方式。