Hive 四种排序方式的区别：sort by、order by、distribute by、cluster by

在 Hive 中，我们经常需要对查询结果进行排序，Hive 提供了四种排序方式：sort by、order by、distribute by 和 cluster by。这四种排序方式的功能和使用场景各不相同，下面将详细介绍它们的差异。

1. sort by

sort by 是局部排序，它只在每个 reducer 范围内进行排序，不会对整个结果集进行排序。也就是说，sort by 只是保证每个 reducer 的输出结果按指定字段排序，但不同 reducer 之间的输出结果无法保证排序。

2. order by

order by 是全局排序，它会对整个结果集进行排序，保证所有 reducer 的输出结果按指定字段排序。order by 通常需要与 distribute by 或 cluster by 结合使用，才能实现全局排序。

3. distribute by

distribute by 指的是按照指定的字段划分到不同的输出 reducer 文件中。例如，使用 distribute by id 会将所有具有相同 id 的数据划分到同一个 reducer 中。distribute by 可以提高查询性能，因为它可以将数据均匀地分配到不同的 reducer 上进行处理。

4. cluster by

cluster by 与 distribute by 相似，它也是按照指定的字段划分数据，但它还会对每个 reducer 的输出结果进行排序。也就是说，cluster by 是 distribute by 和 sort by 的结合，它可以实现数据分区和局部排序。

总结

sort by: 局部排序，仅保证每个 reducer 内部的排序。
order by: 全局排序，保证整个结果集的排序，需要与 distribute by 或 cluster by 结合使用。
distribute by: 数据分区，将数据按照指定的字段划分到不同的 reducer 中。
cluster by: 数据分区 + 局部排序，将数据按照指定的字段划分到不同的 reducer 中，并对每个 reducer 的输出结果进行排序。

选择哪种排序方式取决于具体的应用场景。如果只需要对局部数据进行排序，可以使用 sort by。如果需要对全局数据进行排序，可以使用 order by 并结合 distribute by 或 cluster by。