资源中心

资源配置

• 资源配置：支持 Local、FTP、HDFS、OSS、OBS

Local

• 本地存储路径
  • 服务器本地存储路径，默认为：/upload/resource下，单机模式下可配置此模式
  • 如果配置的存储路径为：/upload/resource，则保存格式为：/upload/resource/{当前日期(yyyyMMdd)}/文件名_{HH:mm:ss的具体时间秒}.txt
  • 比如：/upload/resource/20250101/测试_1737193833.txt

FTP服务器

• 服务器地址
  • FTP 服务器的域名或 IP 地址，用于指定连接的目标服务器
• 端口号
  • 默认的 FTP 端口是 21，但有些服务器可能会使用不同的端口，请根据服务器具体情况修改
• 根目录
  • 将文件存储到服务器上的指定目录中，需要指定远程文件的完整路径，包括目录信息，系统默认在该目录基础上添加日期目录，并对文件名称追加当前时间秒信息
  • 用户名： FTP 服务器的用户名，用于身份验证
• 用户名/密码：用于身份验证，登录到 FTP 服务器所需的凭证
• 传输模式
  • 分为二进制传输模式和文本传输模式，默认二进制传输，推荐二进制传输
  • 二进制传输模式：适用于传输图片、视频、可执行文件等二进制数据，能保证数据的完整性
  • 文本传输模式：用于传输纯文本文件，在传输过程中可能会对换行符等进行转换
• 传输超时设定
  • 连接超时：指尝试连接到 FTP 服务器时等待的最长时间（以毫秒为单位），如果在该时间内未能成功建立连接，将会抛出异常，默认超时5000ms(5秒)
  • 数据传输超时：在进行数据传输（如上传、下载文件）时，等待数据传输的最长时间（以毫秒为单位），如果超过这个时间没有接收到数据，会抛出异常，默认30000ms(30秒)

HDFS

• HDFS地址
  • 设置HDFS的地址，可以根据实际情况修改，通常格式为 hdfs://hostname:port
• 根目录
  • 将文件存储到服务器上的指定目录中，需要指定远程文件的完整路径，包括目录信息，系统默认在该目录基础上添加日期目录，并对文件名称追加当前时间秒信息
  • 如果配置的远程目录为：/upload/resource，则保存格式为：/upload/resource/{当前日期(yyyyMMdd)}/文件名_{HH:mm:ss的具体时间秒}.txt
  • 比如：/upload/resource/20250101/测试_1737193833.txt
• 操作用户名
  • 简单认证，HDFS可能仅依赖用户名进行身份验证，用户声称自己是某个用户，HDFS会基于这个用户名进行权限检查，默认hdfs
  • 如果你想使用其它方式身份认证，比如Kerberos、SSL/TLS、LDAP等，请在下面hdfs-site中及core-site中添加相关配置
• hdfs-site.xml
  • hdfs-site.xml配置文件内容，高可用必填，请手动将配置文件内容(全选复制粘贴即可)
• core-site.xml
  • core-site.xml配置文件内容，高可用必填，请手动将配置文件内容(全选复制粘贴即可)

OSS

• OSS存储URL(Endpoint)
  • 访问OSS服务的入口地址，不同的云服务提供商的OSS服务有不同的Endpoint，并且不同的区域也会有不同的Endpoint
  • 例如，阿里云的OSS服务中，oss-cn-hangzhou.aliyuncs.com表示华东1（杭州）区域的Endpoint
• 根目录
  • 将文件存储到服务器上的指定目录中，需要指定远程文件的完整路径，包括目录信息，系统默认在该目录基础上添加日期目录，并对文件名称追加当前时间秒信息
  • 如果配置的远程目录为：/upload/resource，则保存格式为：/upload/resource/{当前日期(yyyyMMdd)}/文件名_{HH:mm:ss的具体时间秒}.txt
  • 比如：/upload/resource/20250101/测试_1737193833.txt
• AccessKeyId
  • 访问OSS服务的身份认证信息，AccessKeyId是用户的身份标识
• AccessKeySecret
  • 访问OSS服务的身份认证信息，AccessKeySecret是用户的密钥
• 存储桶名称
  • 存储对象的容器，类似于文件系统中的文件夹
  • 用于组织和管理存储在OSS中的对象，用户可以在一个账户下创建多个存储桶，不同存储桶之间的数据和配置是相互独立的

OBS

• OBS存储URL(Endpoint)
  • 访问OSS服务的入口地址，不同的区域通常会有不同的 Endpoint
  • 例如，对于华为云的OBS，obs.cn-north-1.myhuaweicloud.com表示中国北部1区的Endpoint
• 根目录
  • 将文件存储到服务器上的指定目录中，需要指定远程文件的完整路径，包括目录信息，系统默认在该目录基础上添加日期目录，并对文件名称追加当前时间秒信息
  • 如果配置的远程目录为：/upload/resource，则保存格式为：/upload/resource/{当前日期(yyyyMMdd)}/文件名_{HH:mm:ss的具体时间秒}.txt
  • 比如：/upload/resource/20250101/测试_1737193833.txt
• AccessKey
  • 访问OBS服务的身份认证信息，AccessKey是用户的身份标识
• SecretKey
  • 访问OBS服务的身份认证信息，SecretKey是用户的密钥
• 存储桶名称
  • 存储对象的容器，类似于文件系统中的文件夹
  • 用于组织和管理存储在OBS中的对象，用户可以在一个账户下创建多个存储桶，不同存储桶之间的数据和配置是相互独立的

UDF管理

UDF列表

• UDF列表：支持新增/编辑/删除，查看Jar、Script详情

UDF详情

• 函数名称：函数名称
• 函数类型：支持UDF、UDAF、UDTF
• 实现类型：支持Jar、代码
• 包实现类全路径：Jar包类型时显示，包实现类全路径
• Jar包信息：Jar包类型时显示，上传Jar包信息
• 代码类型：实现类型为代码时显示，支持Java、Scala、Python
• Script：实现类型为代码时显示，代码实现

任务组管理

• 任务组管理：创建任务组，支持新增/编辑/删除，查看队列信息
• 任务组可在服务编排中使用

• 任务组名称：任务组名称
• 最大并发数：任务组最大并发数，默认为0 表示不限制
• 关联Project信息：任务组关联的Project信息
• 队列信息：任务组关联的队列信息，点击跳转查看队列信息
• 任务组描述：任务组描述

任务组队列

• 任务组队列：支持查看任务组当前运行量、等待量

• 任务组名称：任务组名称
• 最大并发数：任务组最大并发数，默认为0 表示不限制
• 关联Project信息：任务组关联的Project信息
• 当前运行量：任务组当前运行量，点击可跳转任务组实例
• 当前等待量：任务组当前等待量，点击可跳转任务组实例
• 任务组描述：任务组描述

任务组实例

• 任务组实例：支持查看任务组当前运行量、等待量

• 编排名称：运行的编排名称
• 实例名称：运行的编排实例名称