数据集成

数据集成模块支持Seatunnel和Addax等开源数据集成工具，并允许用户自定义集成配置。这意味着用户可以根据自己的需求，快速、灵活地配置数据集成任务，实现不同数据源之间的数据同步和传输。此外，Bigprime DGP还支持用户自定义插件集成配置，进一步扩展了数据集成的功能。

集成配置

seatunnel 配置

env 配置

• 支持配置全局参数，如：rest_api、job.name、event_url、job.mode、parallelism等。

source 配置

• 支持自定义，如Jdbc、FakeSource等，对应的自定义配置项支持动态参数，如：url、username、password、table_path、query等。

transform 配置

• 支持自定义，如Filter、Replace等，对应的自定义配置项支持动态参数，如：replace_field、replacement。

sink 配置

• 支持自定义，如Jdbc、Console等，对应的自定义配置项支持动态参数，如：url、username、password、table、result_table_name等。

addax 配置

setting 配置

• 支持配置全局参数，如：job.name、byte、record、addax_home、event_url等。

reader 配置

• 支持自定义插件，如rdbmsreader、streamreader、excelreader等，对应的自定义配置项支持动态参数，如：jdbcUrl、username、password、column、fetchSize等。

writer 配置

• 支持自定义插件，如rdbmswriter、txtfilewriter，对应的自定义配置项支持动态参数，如：jdbcUrl、column、preSql、postSql等。

任务定义

创建任务

• 如：seatunnel、addax。

任务配置

seatunnel

addax

任务相关操作

任务实例

任务实例列表

任务实例配置详情

任务实例日志详情