列出 2 个本课程参考书上未出现的 RDD 的行动操作 API并介绍其功能和主要的参数的含义?
aggregateByKey(zeroValue: U)(seqOp: (U, V) => U, combOp: (U, U) => U): RDD[(K, U)]
这个操作将通过给定的初始值 zeroValue 对每个键值对的值进行聚合。seqOp 函数将会对每个值应用,它接受两个参数:第一个参数是初始值或上一次 seqOp 的结果,第二个参数是 RDD 中的元素。combOp 函数将会合并所有的值,它接受两个参数:两个 seqOp 的结果。最终结果将会是一个新的 RDD,其中每个键都对应一个聚合后的值。
foldByKey(zeroValue: V)(func: (V, V) => V): RDD[(K, V)]
这个操作将通过给定的初始值 zeroValue 对每个键值对的值进行折叠。func 函数将会对每个值应用,它接受两个参数:第一个参数是初始值或上一次 func 的结果,第二个参数是 RDD 中的元素。最终结果将会是一个新的 RDD,其中每个键都对应一个折叠后的值。
原文地址: https://www.cveoy.top/t/topic/cgHb 著作权归作者所有。请勿转载和采集!