hadoop中 任务调度由什么实现

在Hadoop中，任务调度由YARN（Yet Another Resource Negotiator）实现。YARN是Hadoop的集群资源管理系统，负责分配集群中的资源，包括内存、CPU等，以及调度任务。YARN使用一种称为容器（container）的概念，将集群资源划分为多个独立的部分，并将任务分配给这些容器。

YARN的任务调度过程如下：

1. 客户端提交一个作业给YARN。
2. ResourceManager（RM）接收到作业后，将其分解为多个任务，并将任务分配给各个NodeManager（NM）。
3. NodeManager在各个节点上启动任务的执行。
4. NodeManager将任务执行的进度和状态报告给ResourceManager。
5. ResourceManager根据任务执行的情况进行资源的重新分配和调度。
6. 任务执行完成后，结果会返回给客户端。

YARN的任务调度算法可以根据集群的资源状况和任务的优先级来进行动态调整，以提高集群的利用率和作业的执行效率。