YARN(Yet Another Resource Negotiator)是Apache Hadoop的资源调度器。它由一个主节点(Master Node)和多个从节点(Slave Node)组成。

主节点负责整个集群的资源调度和管理。它包括以下组件:

  1. ResourceManager(资源管理器):负责整个集群的资源分配和调度。它与客户端应用程序交互,接收资源请求,并将任务分配给从节点上的NodeManager。
  2. ApplicationMaster(应用程序管理器):每个应用程序在YARN上都有一个独立的ApplicationMaster,负责管理应用程序的资源分配和任务调度。它与ResourceManager通信,并协调与NodeManager之间的任务执行。

从节点负责实际的任务执行。每个从节点上都运行一个NodeManager,它负责管理该节点上的资源,并执行由ApplicationMaster分配的任务。NodeManager定期向ResourceManager汇报该节点上的资源使用情况。

YARN的主从节点架构使得资源调度和任务执行能够分布在整个集群中,从而实现高效的并行计算

yarn的主从节点

原文地址: https://www.cveoy.top/t/topic/hJ2i 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录