数据质量管理
包括质量配置、报告和定时检测任务等功能,帮助用户监控和提高数据质量。
质量检测配置
- 默认检测类型包含:唯一性检测、完整性检测、标准性检测、自定义检测,支持CRON 表达式
- 唯一性检测: 检测列唯一性(多列),选择对应的数据源,并配置检测字段,任务可配置多表多列
- 完整性检测: 检测列非空性(多列),选择对应的数据源,并配置检测字段,任务可配置多表多列
- 标准性检测: 检测列值是否在标准配置范围内,选择对应的数据源,并配置检测字段,任务可配置多表多列
- 自定义检测: 用户自定义检测,数据库、支持SQL语句、jar包、python文件、api接口、自定义实现等
质量报告
- 按日期统计质量任务执行情况、包括选择日期的总执行次数、成功执行次数、失败执行次数、业务校验失败
- 选择具体的检测类型,如唯一性检测,则显示具体的检测结果
质量检测任务
- 根据具体目录下的检测任务,查看该任务的详细执行结果
- 根据关键字、日期范围、执行状态等条件,搜索执行记录