开发 JAR 作业
代码开发模式支持 JAR、Python 两种模式。本小节主要介绍如何创建 JAR 作业。
前提条件
- 已获取管理控制台登录账号和密码,且账号已实名认证。
- 已创建工作空间。
- 已创建计算集群。
- 已上传程序包资源。
创建 Jar 作业
-
登录管理控制台。
-
选择产品与服务 > 大数据服务 > 大数据工作台,进入大数据工作台概览页面。
-
在左侧导航选择工作空间,进入工作空间页面。
-
在目标工作空间选择数据开发 > 作业开发,进入作业开发页面。
-
点击创建作业,进入创建作业页面。
-
选择代码开发模式,选择 JAR 模式,点击下一步。
-
填写作业相关信息。
参数 参数说明 作业名称 创建的作业名称,您可以自定义。 计算集群 点击选择集群,在弹出的对话框中选择已创建好的计算集群;也可以在对话框中点击新建计算集群,创建新的计算集群。 说明
- 创建作业时该参数为可选项,您可以在作业创建成功后,在配置作业的运行参数时选择或修改计算集群。
- 计算集群需与数据源网络互通,具体请参见网络连通方案。描述 作业的描述信息,您可以自定义。 -
点击确定,开始创建作业。
开发作业
-
点击作业名称,进入开发面板。
-
在 JAR(程序包)处选择已上传的 JAR 程序包。
如果没有您需要的 JAR 包,请点击上传资源,上传新的程序包。
-
根据实际情况填写入口类和程序参数。
- 入口类(EntryClass):配置运行函数的路径。例如 com.gxlevi.functions.PvFuntion。
- 程序参数(Program Arruments):配置运行函数的参数。例如 –kafka.brokers 172.16.10.27:9092,172.16.10.28:9092,172.16.10.30:9092 –kafka.topics demo02 –kafka.group.id test01 –clickhouse.url jdbc:clickhouse://172.16.10.246:8123/pk –clickhouse.username default –clickhouse.password default –use.sql true。
-
点击保存,保存修改。
配置作业调度
- 在作业开发面板右侧点击调度设置,进入调度配置页面。
- 配置调度策略。详细信息请参见配置作业调度。
- 点击确定,完成调度配置操作。
配置运行参数
- 在作业开发面板右侧点击运行参数,进入运行参数配置页面。
- 选择计算集群、配置作业并行度,以及选择依赖资源。详细信息请参见配置运行参数。
- 点击确定,完成运行参数配置。
发布作业
完成作业调度和运行参数配置后,您才可以发布作业。
-
点击发布,弹出发布调度任务对话框。
-
您可以根据实际情况选择是否终止当前作业正在运行中的实例,如果终止当前作业正在运行中的实例,运行中的作业实例会立即被强制终止。
-
点击发布,发布作业。发布作业时也会对代码进行语法检查,需要一定的时间,请耐心等待。
作业发布成功后,您可以前往运维中心查看已发布作业和作业实例。