服务编排
编排定义
编排定义列表
参数说明
- 标识:编排定义的唯一标识
- 编排名称:编排定义的名称
- 所属Project: 编排定义所属的Project
- 状态:编排定义的状态,包括未发布、已发布
- 定时状态:包括启用、未启用,点击去配置,可跳转到定时配置页面,配置定时必须先发布
- cron: 定时表达式,在定时配置页面配置
编排定义操作
新增
- 新增编排,点击新增,跳转到编排定义页面,维护数据后点击保存,跳转到编排定义详情页面
导入
- 导入编排,点击导入,跳转到上传编排定义页面,选择编排定义JSON文件,点击导入,生成数据
修改
- 修改编排,点击修改,跳转到编排定义页面,维护编排数据
运行一次
- 运行一次,点击运行一次,生成编排实例,运行后跳转到编排实例详情,可查看编排实例信息
发布
- 发布编排,点击发布,确认发布后,编排定义状态变为已发布,不能修改编排定义数据,可查看编排定义信息,如需修改,需先撤销发布
撤销发布
- 撤销发布,状态为已发布时显示,点击撤销发布,确认撤销发布后,编排定义状态变为未发布,可修改编排定义数据
启用定时
- 启用定时,点击启用定时,需要已配置cron表达式,如未配置cron表达式,点击启用定时,提示去配置页面,配置后点击启用定时,确认启用定时后,定时状态变为启用
撤销定时
- 撤销定时,定时状态为启用时显示,点击撤销定时,确认撤销定时后,定时状态变为未启用
复制
- 复制编排,点击复制,跳转到复制编排页面,可修改编排名称、所属Project,编排描述,点击保存后,生成新的编排数据,新数据状态为未发布,定时状态为未启用,其他数据如服务任务等都会复制过来
导出JSON数据
- 导出JSON数据,点击导出JSON数据,则下载编排定义JSON文件,导出的文件可再次通过导入生成新的编排定义
版本
- 版本,点击版本,跳转到版本列表页面,可查看版本信息
版本列表
查看版本信息
- 点击查看内容,跳转到版本详情页面,可查看版本信息
回滚版本
- 回滚版本,点击回滚版本,编排数据会恢复到该版本,回滚版本需要先撤销发布
删除
- 删除,点击删除,确认删除后,删除编排定义数据,删除后不可恢复
编排定义详情
详情功能
- 新增组件时是否自动打开配置:默认为是,点击关闭,新增组件时,不会自动打开配置页面,需要手动点击节点或路由打开配置页面
- 组件信息:包含服务组件及告警组件
- 返回:点击返回,跳转到编排定义列表页面
- 保存:点击保存,跳转到保存页面,可进行编排定义的全局参数,全局策略配置后进行保存
- 导出画布:支持导出png、jpeg、svg格式的图片
- 添加组件:拖拽左侧组件到画布上,拖拽到画布上时,默认自动打开配置页面
服务组件
Addax组件
- Addax任务:选择Addax任务,选择后可进行Addax任务执行,Addax任务配置可参考数据集成部分
- 节点策略:可参考节点策略说明
- 节点参数:可参考节点参数说明
Seatunnel组件
- Seatunnel任务:选择Seatunnel任务,选择后可进行Seatunnel任务执行,Seatunnel任务配置可参考数据集成部分
- 节点策略:可参考节点策略说明
- 节点参数:可参考节点参数说明
Flink组件
- Flink任务:选择Flink任务,选择后可进行Flink任务执行,Flink任务配置可参考计算中心,数据开发部分
- 节点策略:可参考节点策略说明
- 节点参数:可参考节点参数说明
Sql组件
- 数据源:选择数据源,数据源配置可参考数据源管理
- SQL语句:sql执行语句
- 节点策略:可参考节点策略说明
- 节点参数:可参考节点参数说明
Python组件
- 脚本:Python执行脚本
- 节点策略:可参考节点策略说明
- 节点参数:可参考节点参数说明
Shell组件
- 脚本:Shell执行脚本
- 节点策略:可参考节点策略说明
- 节点参数:可参考节点参数说明
Http组件
- 请求地址:http请求URL
- 请求类型:支持GET、POST、HEAD、PUT、DELETE
- 自定义参数:自定义请求头参数
- 请求JSON:自定义请求body参数
- 返回JSON:自定义返回body参数
- 节点策略:可参考节点策略说明
- 节点参数:可参考节点参数说明
告警组件
飞书告警
- 通知类型:单个(选择告警定义)、组(选择告警组)
- 选择告警信息:选择飞书告警信息,根据通知类型选择告警信息,告警信息维护参考告警管理,告警信息可再次维护变量,变量以${变量名}的形式填写
企业微信告警
- 通知类型:单个(选择告警定义)、组(选择告警组)
- 选择告警信息:选择企业微信告警信息,根据通知类型选择告警信息,告警信息维护参考告警管理,告警信息可再次维护变量,变量以${变量名}的形式填写
钉钉告警
- 通知类型:单个(选择告警定义)、组(选择告警组)
- 选择告警信息:选择钉钉告警信息,根据通知类型选择告警信息,告警信息维护参考告警管理,告警信息可再次维护变量,变量以${变量名}的形式填写
邮箱告警
- 通知类型:单个(选择告警定义)、组(选择告警组)
- 选择告警信息:选择邮箱告警信息,根据通知类型选择告警信息,告警信息维护参考告警管理,告警信息可再次维护变量,变量以${变量名}的形式填写
全局参数
- 全局参数:点击保存时,可配置全局参数,变量在节点和路由中以${变量名}的形式引用
全局策略
- 全局策略:点击保存时,可配置全局策略
- 通知策略:配置全局通知策略,优先级低于节点策略,包含无通知、成功通知、失败通知、全部通知
- 通知类型:有通知策略时显示,包含 单个(选择告警定义)、组(选择告警组)
- 选择告警信息:选择告警信息,告警信息维护参考告警管理
- 失败重试次数:配置失败重试次数,默认为0,不重试
- 失败重试间隔:配置失败重试间隔,默认为0,单位分钟
- 延迟执行时间:配置延迟执行时间,默认为0,单位分钟
- 超时策略:配置超时策略,包含超时告警、超时失败
- 超时时间:选择超时策略后显示,配置超时时间,默认为0,单位分钟
- 通知类型:选择超时策略后显示
- 选择通知信息:选择超时策略后显示,配置和通知策略一致
- 任务优先级:可配置任务优先级,优先级高的任务优先执行,优先级为5个级别,包括最高、高、一般、低、最低
- worker分组:任务执行时的worker节点分组,可配置worker分组,分组维护可参考worker分组
- 所属环境:任务执行时的环境,环境维护可参考环境管理
- 任务组:任务执行时的所属任务组,任务组维护可参考任务组管理
节点参数
- 节点参数:配置节点时,可配置节点参数,参数可配置参数范围,包括当前节点使用,后置节点使用,在节点和路由中以${变量名}的形式引用
节点策略
- 节点策略:配置当前节点的执行策略,所有策略优先级高于全局策略
- 通知策略:配置节点通知策略,包含无通知、成功通知、失败通知、全部通知
- 通知类型:有通知策略时显示,包含 单个(选择告警定义)、组(选择告警组)
- 选择告警信息:选择告警信息,告警信息维护参考告警管理
- 失败重试次数:配置失败重试次数,默认为0,不重试
- 失败重试间隔:配置失败重试间隔,默认为0,单位分钟
- 延迟执行时间:配置延迟执行时间,默认为0,单位分钟
- 超时策略:配置超时策略,包含超时告警、超时失败
- 超时时间:选择超时策略后显示,配置超时时间,默认为0,单位分钟
- 通知类型:选择超时策略后显示
- 选择通知信息:选择超时策略后显示,配置和通知策略一致
- 任务优先级:可配置任务优先级,优先级高的任务优先执行,优先级为5个级别,包括最高、高、一般、低、最低
- worker分组:任务执行时的worker节点分组,可配置worker分组,分组维护可参考worker分组
- 所属环境:任务执行时的环境,环境维护可参考环境管理
- 任务组:任务执行时的所属任务组,任务组维护可参考任务组管理
路由规则
- 配置路由:可配置路由规则,包括路由规则,条件信息
- 路由规则:包含成功、失败、条件
- 条件信息:添加条件,可配置多个条件信息,多个条件信息之间为或关系,组件条件为且的关系,条件信息可配置变量,变量以${变量名}的形式引用
编排实例
实例列表
- 标识:实例标识
- 实例名称:实例名称,格式为编排定义名称-执行时间戳
- 编排名称:所属的编排定义名称
- 所属项目:编排定义的所属项目
- 当前状态:实例当前状态,包含执行中、执行成功、执行失败、停止执行、暂停执行、等待异步任务、等待资源
- 运行类型:实例运行类型,包含手动执行、调度执行、重跑、失败重跑
- 开始时间:实例开始时间
- 结束时间:实例结束时间
实例操作
查看流程图
- 查看流程图:可查看任务实例的流程图,包括实例执行状态等信息
重跑
- 重跑:可重新执行任务实例,重跑会生成新的任务实例并执行,不影响当前实例的执行
重试
- 重试:当任务执行失败时,可重新执行失败的任务,重新执行不会产生新的任务实例,是在当前实例的基础上重新执行
停止
- 停止:可停止任务实例,停止实例后,实例将不再执行,实例状态变为停止执行
暂停
- 暂停:可暂停任务实例,暂停实例后,实例将不再执行,实例状态变为暂停执行,通过恢复操作,可恢复暂停的实例,恢复实例后,实例将继续执行
恢复
- 恢复:可恢复暂停的实例,恢复实例后,实例将继续执行,只有暂停的任务可执行该操作
查看日志
- 查看日志:可查看任务实例的日志,包括任务执行日志、任务执行结果等信息
- 日志详情,可进行日志下载
编排定时
编排定时列表
- 编排定时:显示已发布的编排定义,可进行定时上线、编辑等操作
- 标识:编排标识
- 编排名称:编排名称
- 所属Project:编排所属Project
- 定时状态:包括启用、未启用,点击去配置,可跳转到定时配置页面,配置定时必须先发布
- cron: 定时表达式,在定时配置页面配置
- 调度开始时间:定时开始时间,在定时配置页面配置
- 调度结束时间:定时结束时间,在定时配置页面配置
编排定时操作
编辑定时
- 编辑定时:可编辑定时,包括是否开启定时、定时表达式、调度开始时间、调度结束时间等
编排定时上线/下线
- 编排定时上线/下线:可进行定时上线及下线操作
任务实例
任务实例列表
- 任务实例:编排定义下的任务实例,可对单个任务实例进行失败重跑、查看日志操作
- 标识:任务实例标识
- 任务名称:任务名称,系统自动生成
- 实例名称:任务实例名称,格式为编排定义名称-执行时间戳
- 任务类型:包括服务节点、条件规则,服务节点指的是具体执行任务,比如Addax任务,条件规则指的路由规则,比如Addax任务节点到Http任务节点的路由规则
- 开始时间:任务实例开始时间
- 结束时间:任务实例结束时间
- 执行机器:任务实例执行机器
- 机器端口:任务实例执行机器端口
任务实例操作
- 失败重跑:可对单个任务实例进行失败重跑,失败重跑不生成新的任务实例,是在当前实例的基础上重新执行
- 查看日志:可查看任务实例的日志,包括任务执行日志、任务执行结果等信息
- 查看日志详情:可进行日志下载
任务定义
- 任务定义:指的是每个编排定义的具体服务节点和路由规则,比如A编排定义下有Addax、Http等任务,在这里可以对每个任务进行编辑、查看版本、恢复版本操作
- 编辑任务:
- 查看版本及恢复版本: