Spark Streaming 计算总金额示例 (Scala)

在 Scala 中，可以使用 Spark Streaming 来计算总金额。下面是一个示例代码：

import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext._

object TotalAmount {
  def main(args: Array[String]) {
    // 创建 SparkConf 对象
    val conf = new SparkConf().setAppName('TotalAmount').setMaster('local[*]')
    
    // 创建 StreamingContext 对象
    val ssc = new StreamingContext(conf, Seconds(1))
    
    // 创建一个 DStream，从 TCP socket 读取数据流
    val lines = ssc.socketTextStream('localhost', 9999)
    
    // 将每行数据转换为一个元组 (商品, 金额)
    val records = lines.map(line => {
      val fields = line.split(',')
      (fields(0), fields(1).toDouble)
    })
    
    // 计算总金额
    val totalAmount = records.reduceByKey(_ + _)
    
    // 打印结果
    totalAmount.print()
    
    // 启动 StreamingContext
    ssc.start()
    ssc.awaitTermination()
  }
}

上述代码将从本地的 TCP socket 读取数据流，并将每行数据转换为一个包含商品和金额的元组。然后，通过使用 reduceByKey 函数，计算每个商品的总金额。最后，使用 print 函数打印结果。在启动 StreamingContext 之后，程序将持续监听 TCP socket，并计算总金额。