yarn的主从节点
YARN(Yet Another Resource Negotiator)是Apache Hadoop的资源调度器。它由一个主节点(Master Node)和多个从节点(Slave Node)组成。
主节点负责整个集群的资源调度和管理。它包括以下组件:
- ResourceManager(资源管理器):负责整个集群的资源分配和调度。它与客户端应用程序交互,接收资源请求,并将任务分配给从节点上的NodeManager。
- ApplicationMaster(应用程序管理器):每个应用程序在YARN上都有一个独立的ApplicationMaster,负责管理应用程序的资源分配和任务调度。它与ResourceManager通信,并协调与NodeManager之间的任务执行。
从节点负责实际的任务执行。每个从节点上都运行一个NodeManager,它负责管理该节点上的资源,并执行由ApplicationMaster分配的任务。NodeManager定期向ResourceManager汇报该节点上的资源使用情况。
YARN的主从节点架构使得资源调度和任务执行能够分布在整个集群中,从而实现高效的并行计算
原文地址: https://www.cveoy.top/t/topic/hJ2i 著作权归作者所有。请勿转载和采集!