配置数据来源

 

配置 ClickHouse 数据来源

更新时间 2023-09-06

本文为您介绍 ClickHouse 作为数据来源时,需要配置的参数及配置示例。

前提条件

开始配置 ClickHouse 数据源前,请先添加数据源,详细操作请参见新增 ClickHouse 数据源

类型转换列表

分类 支持的 ClickHouse 数据类型
整数类 TINYINT、SMALLINT、INT、BIGINT
浮点类 FLOAT、DOUBLE、DECIMAL
字符串类 STRING、VARCHAR、CHAR、NULL
日期时间类 TIMESTAMP、DATE
布尔型 BOOLEAN
二进制类 BINARY

参数说明

参数 类型 是否必填 描述
table string 选择需要同步的表名称。一个数据集成作业只能同步数据到一个目标表。
说明
如果配置的表不存在,会导致作业运行失败。
where string where 过滤语句。
说明
需填写 SQL 合法 where 子句。不需要填写 where 关键字。
splitPk string 如果指定 splitPk,表示您希望使用 splitPk 代表的字段进行数据分片,数据同步会启动并发任务进行数据同步,提高数据同步的效能。
注意
推荐使用表主键进行切分,仅支持整型数据切分。
如果通道设置中 channel 大于 1,必须配置此参数。
column list 配置所选表中需要同步的列名。
说明
如果读取的列不存在,会导致作业运行失败。

向导模式开发介绍

打开已创建的离线-批量同步作业,即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业(向导模式)

您需要在作业的开发页面进行以下配置:

配置 ClickHouse 数据来源
参数 说明
数据源 选择已添加的数据源。
数据源表 即上述参数说明中的 table
条件参数配置 配置需要同步数据的过滤条件。即上述参数说明中的 where
切分键 即上述参数说明中的 splitPk。建议使用主键作为切分键,仅支持类型为整型的字段。
读取数据时,根据配置的字段进行数据分片,实现并发读取,可以提升数据同步效率。
说明 切分键与数据同步中的选择来源有关,配置数据来源时才显示切分键配置项。

条件参数配置

仅离线增量同步需要进行条件参数配置。

配置 ClickHouse 数据来源-增量

可视化方式

参数 说明
列名 选择需要过滤的列名。
开始条件 配置过滤的开始条件。
结束条件 配置过滤的结束条件。
生成条件参数 根据上述配置信息自动生成条件参数表达式。
可视化方式

表达式方式

条件参数配置默认使用可视化方式,您可以根据使用习惯切换为表达式方式。

表达式方式
这篇文档解决了您的问题吗?
0
0