Hadoop 架构详解:HDFS、YARN、MapReduce 和 Hadoop Common
Hadoop 是一个开源的分布式计算框架,其架构由四个核心组件组成:Hadoop 分布式文件系统 (HDFS)、YARN、MapReduce 和 Hadoop Common。
-
Hadoop 分布式文件系统 (HDFS): 是一个分布式、可扩展的文件存储系统,它被设计成可以在廉价的硬件上运行。HDFS 可以管理大量数据,并通过数据块的分布式存储和复制来保证数据的可靠性和高可用性。
-
YARN (Yet Another Resource Negotiator): 是 Hadoop 的资源调度器和管理器。它负责管理集群中的资源,并为不同的应用程序分配资源。YARN 被设计成可以支持多种计算框架,包括 MapReduce、Spark、Storm 等。
-
MapReduce: 是一个分布式计算框架,它可以对大规模数据进行并行处理。MapReduce 通过将数据分成多个小块,并在不同的节点上并行执行 Map 和 Reduce 操作来实现高效的处理。
-
Hadoop Common: 是 Hadoop 的公共库,包含了 Hadoop 的一些核心组件,如文件系统、I/O 操作、网络通信、安全性等。
总的来说,Hadoop 的架构是一个分布式、可扩展的架构,它可以处理大量的数据,并通过数据的复制和分布式存储来保证数据的可靠性和高可用性。
原文地址: https://www.cveoy.top/t/topic/luV3 著作权归作者所有。请勿转载和采集!