Flink on Yarn 部署方式详解：预定义、动态、容器化对比

Flink on Yarn 部署主要有以下三种方式，各有优缺点，选择哪种方式取决于您的应用规模和需求。

1. 预定义集群：使用预定义的 Yarn 集群来部署 Flink。

   • 优点：部署简单，无需额外配置，适用于小规模任务。

   • 缺点：资源利用率较低，无法动态调整集群大小。

   • 命令：./bin/yarn-session.sh -n <number_of_taskmanagers> -tm <taskmanager_memory>

2. 动态集群：使用动态扩展的 Yarn 集群来部署 Flink。

   • 优点：可以根据任务负载动态扩展集群大小，提高资源利用率。

   • 缺点：部署和管理较为复杂。

   • 命令：./bin/yarn-session.sh -n <number_of_taskmanagers> -tm <taskmanager_memory> -s

3. 容器化部署：将 Flink 和 Yarn 一起容器化，使用容器编排工具（如 Docker 和 Kubernetes）来管理部署。

   • 优点：部署和管理灵活，可以在不同的云平台上运行。

   • 缺点：需要额外学习和配置容器编排工具。

   • 命令：无固定命令，根据容器编排工具的配置来部署。

总结：

• 预定义集群部署简单，适用于小规模任务，但资源利用率较低。
• 动态集群部署可以根据任务负载动态扩展集群大小，提高资源利用率，但部署和管理较为复杂。
• 容器化部署灵活，可以在不同的云平台上运行，但需要额外学习和配置容器编排工具。