Spark Streaming 实战：单价乘数量计算示例

下面是一个使用 Spark Streaming 实现单价乘数量计算的示例程序：

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object PriceQuantityCalculation {
  def main(args: Array[String]): Unit = {
    // 创建 SparkConf 对象
    val conf = new SparkConf().setAppName("PriceQuantityCalculation").setMaster("local[2]")

    // 创建 StreamingContext 对象，每 1 秒处理一次数据
    val ssc = new StreamingContext(conf, Seconds(1))

    // 创建 DStream，接收从 TCP 端口 9999 上接收到的数据
    val lines = ssc.socketTextStream("localhost", 9999)

    // 将每行数据以空格分割
    val words = lines.flatMap(_.split(' '))

    // 将每个单词作为 key，初始数量为 1
    val wordCounts = words.map(word => (word, 1))

    // 求每个单词的数量，并将单价乘数量得到最终结果
    val result = wordCounts.reduceByKey(_ + _).mapValues(_ * 10)

    // 打印结果
    result.print()

    // 开始计算
    ssc.start()

    // 等待计算完成
    ssc.awaitTermination()
  }
}

在该示例程序中，我们使用 socketTextStream 方法从本地 TCP 端口 9999 上接收数据流。然后，我们使用 flatMap 方法将每行数据以空格分割为单词，并使用 map 方法将每个单词作为 key，初始数量为 1。接着，我们使用 reduceByKey 方法对每个单词的数量进行求和，并使用 mapValues 方法将单价乘数量得到最终结果。最后，我们使用 print 方法打印结果。

启动该程序后，可以使用 netcat 工具发送数据到 localhost 的 9999 端口，程序会实时计算每个单词的数量，并将单价乘数量的结果打印出来。

注意：在运行该程序之前，需要先启动 netcat 工具，并使用以下命令发送数据：

nc -lk 9999

然后，在 netcat 窗口中输入数据，每个单词以空格分隔。程序会实时计算每个单词的数量，并将单价乘数量的结果打印出来。