配置中心

数据源

• 数据源：支持新增/编辑/删除数据源等功能

全局变量

• 全局变量可以在数据开发中使用, 在开发过程中, 输入全局变量名称以${变量名}形式
• 数据源变量自动生成，用户无需手动输入，直接使用即可

环境配置

• 对于全局环境的配置，避免因为配置变更而重启服务，可以在页面上修改配置，修改后会自动生效，无需重启服务

• Python环境变量
  • Python环境变量，用于提交Python任务以及构建Python Udf
• Bigprime 访问地址
  • Bigprime访问地址，默认带出当前可访问地址，用于Flink任务状态回传
• 历史最大保留数量
  • 提交的作业历史与自动注册的集群记录最大保留数量，如果不足该数量，则不会被删除，即使已经过了最大保留天数,也不会被删除, 单位(个)
• 历史最大保留天数
  • 提交的作业历史与自动注册的集群记录最大保留天数，过期会被自动删除, 单位(天)
• 表达式变量列表
  • 用于扩展表达式变量,逗号分割,需要使用类的全限定名
  • 例如: com.bigprime.common.utils.DateUtils,请确保类在服务的classpath中

Flink配置

• Flink配置：对于Flink相关环境的配置，避免因为配置变更而重启服务，可以在页面上修改配置，修改后会自动生效，无需重启服务

• 使用Rest API
  • 当用户使用Application模式以及RestAPI时，需要配置相关参数
  • Application模式支持Yarn和Kubernetes，启用RestAPI后，Flink任务的savepoint,停止等操作都将会通过JobManager的RestAPI进行
• SQL 分隔符
  • 提交SQL语句时，多条执行语句的分隔符，默认为分号
• Job提交等待时间
  • 提交Application等任务时获取Job ID的最大等待时间，单位是秒

资源配置

• 资源配置：支持 Local、FTP、HDFS、OSS、OBS

Local

• 本地存储路径
  • 服务器本地存储路径，默认为：/upload/resource下，单机模式下可配置此模式
  • 如果配置的存储路径为：/upload/resource，则保存格式为：/upload/resource/{当前日期(yyyyMMdd)}/文件名_{HH:mm:ss的具体时间秒}.txt
  • 比如：/upload/resource/20250101/测试_1737193833.txt

FTP服务器

• 服务器地址
  • FTP 服务器的域名或 IP 地址，用于指定连接的目标服务器
• 端口号
  • 默认的 FTP 端口是 21，但有些服务器可能会使用不同的端口，请根据服务器具体情况修改
• 根目录
  • 将文件存储到服务器上的指定目录中，需要指定远程文件的完整路径，包括目录信息，系统默认在该目录基础上添加日期目录，并对文件名称追加当前时间秒信息
  • 用户名： FTP 服务器的用户名，用于身份验证
• 用户名/密码：用于身份验证，登录到 FTP 服务器所需的凭证
• 传输模式
  • 分为二进制传输模式和文本传输模式，默认二进制传输，推荐二进制传输
  • 二进制传输模式：适用于传输图片、视频、可执行文件等二进制数据，能保证数据的完整性
  • 文本传输模式：用于传输纯文本文件，在传输过程中可能会对换行符等进行转换
• 传输超时设定
  • 连接超时：指尝试连接到 FTP 服务器时等待的最长时间（以毫秒为单位），如果在该时间内未能成功建立连接，将会抛出异常，默认超时5000ms(5秒)
  • 数据传输超时：在进行数据传输（如上传、下载文件）时，等待数据传输的最长时间（以毫秒为单位），如果超过这个时间没有接收到数据，会抛出异常，默认30000ms(30秒)

HDFS

• HDFS地址
  • 设置HDFS的地址，可以根据实际情况修改，通常格式为 hdfs://hostname:port
• 根目录
  • 将文件存储到服务器上的指定目录中，需要指定远程文件的完整路径，包括目录信息，系统默认在该目录基础上添加日期目录，并对文件名称追加当前时间秒信息
  • 如果配置的远程目录为：/upload/resource，则保存格式为：/upload/resource/{当前日期(yyyyMMdd)}/文件名_{HH:mm:ss的具体时间秒}.txt
  • 比如：/upload/resource/20250101/测试_1737193833.txt
• 操作用户名
  • 简单认证，HDFS可能仅依赖用户名进行身份验证，用户声称自己是某个用户，HDFS会基于这个用户名进行权限检查，默认hdfs
  • 如果你想使用其它方式身份认证，比如Kerberos、SSL/TLS、LDAP等，请在下面hdfs-site中及core-site中添加相关配置
• hdfs-site.xml
  • hdfs-site.xml配置文件内容，高可用必填，请手动将配置文件内容(全选复制粘贴即可)
• core-site.xml
  • core-site.xml配置文件内容，高可用必填，请手动将配置文件内容(全选复制粘贴即可)

OSS

• OSS存储URL(Endpoint)
  • 访问OSS服务的入口地址，不同的云服务提供商的OSS服务有不同的Endpoint，并且不同的区域也会有不同的Endpoint
  • 例如，阿里云的OSS服务中，oss-cn-hangzhou.aliyuncs.com表示华东1（杭州）区域的Endpoint
• 根目录
  • 将文件存储到服务器上的指定目录中，需要指定远程文件的完整路径，包括目录信息，系统默认在该目录基础上添加日期目录，并对文件名称追加当前时间秒信息
  • 如果配置的远程目录为：/upload/resource，则保存格式为：/upload/resource/{当前日期(yyyyMMdd)}/文件名_{HH:mm:ss的具体时间秒}.txt
  • 比如：/upload/resource/20250101/测试_1737193833.txt
• AccessKeyId
  • 访问OSS服务的身份认证信息，AccessKeyId是用户的身份标识
• AccessKeySecret
  • 访问OSS服务的身份认证信息，AccessKeySecret是用户的密钥
• 存储桶名称
  • 存储对象的容器，类似于文件系统中的文件夹
  • 用于组织和管理存储在OSS中的对象，用户可以在一个账户下创建多个存储桶，不同存储桶之间的数据和配置是相互独立的

OBS

• OBS存储URL(Endpoint)
  • 访问OSS服务的入口地址，不同的区域通常会有不同的 Endpoint
  • 例如，对于华为云的OBS，obs.cn-north-1.myhuaweicloud.com表示中国北部1区的Endpoint
• 根目录
  • 将文件存储到服务器上的指定目录中，需要指定远程文件的完整路径，包括目录信息，系统默认在该目录基础上添加日期目录，并对文件名称追加当前时间秒信息
  • 如果配置的远程目录为：/upload/resource，则保存格式为：/upload/resource/{当前日期(yyyyMMdd)}/文件名_{HH:mm:ss的具体时间秒}.txt
  • 比如：/upload/resource/20250101/测试_1737193833.txt
• AccessKey
  • 访问OBS服务的身份认证信息，AccessKey是用户的身份标识
• SecretKey
  • 访问OBS服务的身份认证信息，SecretKey是用户的密钥
• 存储桶名称
  • 存储对象的容器，类似于文件系统中的文件夹
  • 用于组织和管理存储在OBS中的对象，用户可以在一个账户下创建多个存储桶，不同存储桶之间的数据和配置是相互独立的

UDF管理

UDF列表

• UDF列表：支持新增/编辑/删除，查看Jar、Script详情

UDF详情

• 函数名称：函数名称
• 函数类型：支持UDF、UDAF、UDTF
• 实现类型：支持Jar、代码
• 包实现类全路径：Jar包类型时显示，包实现类全路径
• Jar包信息：Jar包类型时显示，上传Jar包信息
• 代码类型：实现类型为代码时显示，支持Java、Scala、Python
• Script：实现类型为代码时显示，代码实现