集群管理

• 支持支持Standalone、Yarn Session、Yarn Application、Kubernetes Session、Kubernetes Application、Kubernetes Operator配置

Standalone配置

• 与外部Standalone集群共享资源,用于批操作和小流量任务
• 作业资源共享，启动快，不依赖Yarn或K8S
• 适用于批作业、Flink OLAP查询、资源占用小的流作业

Yarn Session配置

• 与外部Yarn Session集群共享资源,用于批操作和小流量任务
• 作业资源共享，启动快
• 适用于作业批作业、Flink OLAP查询、资源占用小的流作业

Yarn Application配置

• 所有JobGraph共享一个集群,资源隔离,节约网络资源
• 作业资源隔离，启动慢，节约网络资源，所有JobGraph只创建一个集群
• 适用于资源占用较多的批作业和流作业

Kubernetes Session配置

• 与外部Kubernetes Session集群共享资源,动态扩容
• 作业资源隔离，启动快，动态扩容
• 适用于批作业、Flink OLAP查询、资源占用小的流作业

Kubernetes Application配置

• 每个JobGraph创建一个Pod,资源隔离,动态扩容
• 作业资源隔离，启动慢，动态扩容，节约网络资源，所有JobGraph只创建一个集群
• 适用于资源占用较多的批作业和流作业

Kubernetes Operator配置

• 使用Kubernetes Operator Flink集群进行管理,可以实现集群的动态伸缩
• 自动化管理，Operator可以自动化管理应用程序的生命周期和运维任务
• 高度可扩展，Operator允许开发者扩展Kubernetes的功能，以适应特定应用程序或工作负载的需求
• 智能决策和自愈能力，Operator可以通过监视和分析应用程序的状态，做出智能决策以确保应用程序的健康和高可用性
• 适用于资源占用较多的批作业和流作业。