要将非分布式配置修改为伪分布式配置,需要做以下几个步骤:

  1. 修改 Hadoop 配置文件

首先需要修改 Hadoop 的配置文件。打开 Hadoop 的配置文件 core-site.xml,将以下内容添加到其中:

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

这将指定 Hadoop 使用本地的 HDFS 文件系统,端口号为 9000。

接下来,打开 Hadoop 的配置文件 hdfs-site.xml,将以下内容添加到其中:

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

这将指定 Hadoop 在伪分布式模式下只有一个副本。

  1. 配置 SSH 免密登录

在伪分布式模式下,Hadoop 进程需要在分离的 Java 进程中运行。为了启动这些进程,需要使用 SSH 免密登录来访问本地计算机。要配置 SSH 免密登录,需要在本地计算机上生成 SSH 密钥,然后将公钥复制到本地计算机的授权文件中。

  1. 启动 Hadoop

启动 Hadoop 的方式与启动非分布式模式相同。首先启动 Hadoop 的 NameNode 和 DataNode,然后启动 MapReduce 任务。

启动 NameNode 和 DataNode 的命令如下:

$HADOOP_HOME/sbin/start-dfs.sh

启动 MapReduce 任务的命令如下:

$HADOOP_HOME/sbin/start-yarn.sh
  1. 测试 Hadoop

在 Hadoop 启动后,可以使用 Hadoop 的命令行工具来测试其是否正常工作。例如,可以使用以下命令来创建一个名为 'input' 的文件夹,并将一个文本文件复制到其中:

$HADOOP_HOME/bin/hadoop fs -mkdir input
$HADOOP_HOME/bin/hadoop fs -put $HADOOP_HOME/LICENSE.txt input/

然后,可以使用以下命令运行一个简单的 MapReduce 任务来计算输入文件中的单词数:

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount input output

这将在 'output' 文件夹中生成一个包含单词计数的文件。

Hadoop 伪分布式配置:单节点运行指南

原文地址: https://www.cveoy.top/t/topic/oFOP 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录