配置hadoop yarn

Hadoop YARN（Yet Another Resource Negotiator）是Hadoop的一个资源管理器，它负责整个集群的资源分配和任务调度。下面是配置Hadoop YARN的步骤：

1. 修改yarn-site.xml文件

在Hadoop的安装目录中，找到yarn-site.xml文件。在这个文件中，可以设置一些YARN的属性。以下是一些常用的属性设置：

• yarn.nodemanager.aux-services：指定NodeManager上启动的辅助服务，多个服务用逗号隔开。例如，如果要启用MapReduce服务，可以设置为mapreduce_shuffle。
• yarn.nodemanager.aux-services.mapreduce_shuffle.class：指定MapReduce服务的类名，通常为org.apache.hadoop.mapred.ShuffleHandler。
• yarn.resourcemanager.hostname：指定ResourceManager的主机名或IP地址。
• yarn.resourcemanager.address：指定ResourceManager的RPC地址。
• yarn.resourcemanager.scheduler.address：指定ResourceManager的调度器地址。
• yarn.resourcemanager.webapp.address：指定ResourceManager的Web应用程序地址。
• yarn.nodemanager.local-dirs：指定NodeManager的本地目录，用于存储本地数据和临时文件。
• yarn.nodemanager.log-dirs：指定NodeManager的日志目录。

2. 修改mapred-site.xml文件

在Hadoop的安装目录中，找到mapred-site.xml文件。在这个文件中，可以设置一些MapReduce的属性。以下是一些常用的属性设置：

• mapreduce.framework.name：指定MapReduce的框架名称，通常为yarn。
• mapreduce.jobhistory.address：指定JobHistoryServer的RPC地址。
• mapreduce.jobhistory.webapp.address：指定JobHistoryServer的Web应用程序地址。
• mapreduce.jobhistory.done-dir：指定JobHistoryServer的已完成任务目录。
• mapreduce.jobhistory.intermediate-done-dir：指定JobHistoryServer的中间任务目录。

3. 启动ResourceManager和NodeManager

在Hadoop的安装目录中，找到sbin目录。在这个目录中，有两个脚本文件：yarn-daemon.sh和yarn-nodemanager.sh。分别执行这两个脚本文件，启动ResourceManager和NodeManager。

4. 验证配置结果

在浏览器中打开ResourceManager的Web应用程序地址，可以看到YARN的状态和配置信息。如果看到YARN的状态正常，则说明配置成功。

以上就是配置Hadoop YARN的步骤。需要注意的是，YARN的配置可能因版本不同而有所不同，具体的配置方式可以参考官方文档。