用户消费 TopN 统计(Jar 作业)

 

消费 Kafka 数据并写入 ClickHouse

更新时间 2023-09-06

创建 JAR 作业

  1. 在目标工作空间选择数据开发 > 作业开发,进入作业开发页面。

  2. 点击创建作业,进入创建作业页面。

    选择模式
  3. 选择代码开发-Jar 模式。

  4. 点击下一步,填写作业名称,并选择作业依赖的计算集群。

    填写信息
  5. 配置完成后,点击确定,开始创建作业。

开发 JAR 作业

  1. 在目标工作空间选择数据开发 > 作业开发,进入作业开发页面。

  2. 点击作业名称,进入开发面板。

  3. 配置 JAR 作业的程序入口、程序所需要的参数。

    配置 Jar 作业
    • JAR(程序包):选择已上传到资源管理的 JAR 程序包。
    • 入口类:配置运行函数的路径。本示例填写 com.dataomnis.example.app.TopN
    • 程序参数:配置数据源的连接信息。
      本实践填写 --kafka.brokers <Kafka 连接地址> --kafka.topics <Kafka Topic名称> --kafka.group.id <Kafka Group ID> --clickhouse.url <ClickHouse的连接地址> --clickhouse.username <ClickHouse 用户名> --clickhouse.password <ClickHouse 密码> --use.sql true
      例如:–kafka.brokers 172.16.10.58:9092,172.16.10.59:9092,172.16.10.60:9092 –kafka.topics demo001 –kafka.group.id test01 –clickhouse.url jdbc:clickhouse://172.16.10.7:8123/pk –clickhouse.username default –clickhouse.password default –use.sql true
  4. 配置完成后,点击保存保存配置。

配置作业调度

  1. 选择已创建好的作业,点击右侧的调度设置,进入调度配置页面。

  2. 设置调度策略。

    本实践选择执行一次发布后立即执行。若您需要配置为其他调度策略,请参见配置作业调度

    配置作业调度
  3. 设置完成后,点击确定

配置运行参数

  1. 选择已创建好的作业,点击右侧的运行参数,进入运行参数配置页面。

    运行参数
  2. 配置运行参数。

    • 计算集群:在该页面可以查看和修改运行作业的计算集群。
    • 并行度:配置作业的并发数,不能为 0,默认为 1
    • 依赖资源:选择作业运行所需的函数包以及自定义 Connector 包。本实践无需选择依赖资源。
  3. 配置完成后,点击确定

发布作业

完成作业调度和运行参数配置后,您才可以发布作业。

  1. 点击发布,弹出发布调度任务对话框。

    发布作业
  2. 填写作业描述信息。

  3. 根据实际情况选择是否终止当前作业正在运行中的实例

    如果终止当前作业正在运行中的实例,运行中的作业实例会立即被强制终止。

  4. 点击发布,发布作业。发布作业时也会对代码进行语法检查,需要一定的时间,请耐心等待。

    作业发布成功后,您可以前往运维中心查看已发布作业和作业实例。

这篇文档解决了您的问题吗?
0
0