RDD Transformation 转换算子详解 - Spark 核心操作

RDD 的 Transformation 转换算子是一组操作，用于将现有 RDD 转换为新的 RDD。这些操作包括：\n- map(func)：对 RDD 中的每个元素应用函数 func，并返回一个新的 RDD。\n- filter(func)：对 RDD 中的每个元素应用函数 func，返回一个包含满足条件的元素的新 RDD。\n- flatMap(func)：对 RDD 中的每个元素应用函数 func，返回一个包含所有元素的新 RDD。\n- groupBy(func)：对 RDD 中的每个元素应用函数 func，并根据函数的返回值对元素进行分组，返回一个包含分组结果的新 RDD。\n- sortBy(func)：对 RDD 中的每个元素应用函数 func，并根据函数的返回值对元素进行排序，返回一个排序后的新 RDD。\n- union(otherRDD)：将当前 RDD 与另一个 RDD 合并，返回一个包含两个 RDD 中所有元素的新 RDD。\n- intersection(otherRDD)：返回当前 RDD 与另一个 RDD 的交集，返回一个包含两个 RDD 中共有元素的新 RDD。\n- distinct()：去除当前 RDD 中的重复元素，返回一个包含去重后元素的新 RDD。\n\n这些 Transformation 转换算子都是惰性求值的，即它们不会立即执行，只有当遇到一个 action 算子时才会触发计算。