数据开发

开发总览

数据开发：包括作业信息、数据源、编辑区、操作栏、侧边栏、底部工具栏六大大部分。

作业信息

作业信息：包括作业目录的维护、创建、删除等操作

新增作业/目录

鼠标悬浮在作业目录上，点击“+”按钮，弹出新增作业/目录对话框

类型：包含目录、Sql作业、Jar作业
名称：作业名称或目录名称
描述：作业描述或目录描述

编辑/删除作业、目录

鼠标悬浮在作业或目录上，点击“编辑”或“删除”按钮，弹出编辑/删除作业/目录对话框

数据源信息

数据源信息：选择数据源，用于作业相关的创建和查询，数据源维护参考数据源管理

选择具体表，可查看相关信息，包括Flink DDL、Sql DDL、即席查询数据信息

编辑区

编辑区：根据作业类型不同，分为FLink SQL编辑区、Jar编辑区

Flink SQL编辑区

Flink SQL编辑区：编辑Flink SQL作业,支持语法高亮、环境变量替换、语法格式化等

Jar编辑区

Jar编辑区：上传Jar作业，支持Flink Jar相关的配置信息

操作栏

操作栏：包含DAG、SQL语法检查、执行计划预览、运行、发布、撤销发布、保存等操作

DAG

DAG：生成作业的DAG图，点击DAG图，可查看作业的详细信息

检查

检查：检查作业的语法，支持SQL语法检查、逻辑检查，错误提示

Show Plan ：鼠标悬浮查看作业的逻辑执行计划

错误检查

Show error ：鼠标悬浮查看作业的错误信息

执行计划

执行计划：生成作业的逻辑执行计划，执行后可在控制台查看

运行

运行：运行作业，运行后可在控制台查看最近一次运行的作业信息，详情信息可在运维中心-任务详情中查看

发布

发布：发布作业，支持提交作业到Flink集群，配置cron表达式定时执行，支持手动触发

撤销发布

撤销发布：撤销发布作业，将不在进行cron表达式执行，支持手动触发

保存

保存：保存作业，保存前会对作业进行填写、环境配置等相关内容校验，保存不会执行任务，执行任务需要发布或者手动执行

侧边栏

环境配置

环境配置：配置作业执行的相关信息

执行模式：支持Standalone、Yarn Session、Yarn Application、Kubernetes Session、Kubernetes Application、Kubernetes Operator
Flink版本：支持Flink版本选择
FlinkSql环境： FlinkSQL执行环境
任务并行度：设置Flink任务的并行度
Insert语句集：是否启用Insert语句集
全局变量：全局变量，以${}进行调用替换
批模式：开启后启用Batch Mode
Savepoint策略：策略包括最近一次、最早一次、指定一次
Savepoint路径：当前策略为指定一次时，需要填写Savepoint路径
报警类型：选择报警类型，单个和组
报警信息：根据报警类型选择，单个报警信息填写，组报警信息填写
自定义任务参数：配置自定义任务参数，执行任务时会传递给Flink任务

历史记录

历史记录：查看作业历史记录，支持历史作业修改版本对比，与当前作业对比、历史作业还原等操作

修改版本对比

当前版本对比

还原版本

底部工具栏

Flink DDL

Flink DDL：选择数据源具体表后可自动生成Flink DDL，写入sql则自动填入到编辑区

Sql DDL

Sql DDL：选择数据源具体表后可获取Sql DDL

数据

数据：选择数据源具体表后可该表数据实时查询，支持条件查询、分页等功能

控制台

控制台：显示最新相关的日志，比如执行计划、运行日志等