如何在 Hadoop 集群中提交和执行 MapReduce 作业？

在 Hadoop 集群中提交和执行 MapReduce 作业的步骤如下:

a. 编写 MapReduce 作业的代码，包括 Mapper 和 Reducer 函数。

b. 将代码打包成可执行的 JAR 文件。

c. 使用 hadoop 命令将 JAR 文件提交到 Hadoop 集群中：hadoop jar <JAR 文件路径> <主类名> <输入路径> <输出路径>

d. Hadoop 会根据作业的配置，在集群中自动分配任务给不同的节点进行并行处理。

e. 执行完成后，结果会保存在指定的输出路径中。

Hadoop 支持哪些类型的数据处理？请举例说明如何使用 Hadoop 处理结构化和非结构化数据。

Hadoop 支持结构化数据（如关系型数据库表、CSV 文件等）和非结构化数据（如文本文件、日志文件、图片、视频等）的处理。

对于结构化数据，可以使用 Hive 来进行数据的查询和分析。Hive 提供了类似于 SQL 的查询语言，可以将结构化数据映射为表，并进行数据的过滤、聚合、排序等操作。

对于非结构化数据，可以使用 Hadoop 的文件系统（HDFS）来存储和管理文件，使用 MapReduce 进行数据处理。例如，可以使用 MapReduce 程序对文本文件进行单词计数、日志文件进行异常检测、图片进行特征提取等。

故障排除和监控 Hadoop 集群的方法如下:

a. 使用 Hadoop 的监控工具，如 Ambari 或 Cloudera Manager，可以实时监控集群的运行状态和各个节点的健康状况。

b. 查看 Hadoop 的日志文件，如 HDFS 的 NameNode 和 DataNode 的日志、YARN 的 ResourceManager 和 NodeManager 的日志等，可以找到故障的具体原因。

c. 使用命令行工具，如 hdfs dfsadmin 和 yarn application 命令，可以查看和管理 Hadoop 的状态和任务。

d. 常见的 Hadoop 集群故障包括：节点宕机、存储空间不足、任务失败等。解决方法包括：重新启动故障节点、清理无用的数据以释放存储空间、重新提交失败的任务等。