Scala Spark 工程代码示例：数据过滤与展示

这是一个简单的 Spark 工程代码示例，使用 Scala 编写：

import org.apache.spark.sql.SparkSession

object MySparkJob {
  def main(args: Array[String]): Unit = {
    // 创建 SparkSession 对象
    val spark = SparkSession.builder()
      .appName('My Spark Job')
      .master('local[*]')
      .getOrCreate()

    // 读取数据文件
    val data = spark.read.csv('data.csv')

    // 处理数据
    val result = data.filter(row => row.getString(0) == 'A')

    // 输出结果
    result.show()

    // 关闭 SparkSession 对象
    spark.stop()
  }
}

在这个示例中，我们首先创建了一个 SparkSession 对象，然后使用它来读取一个 csv 数据文件。我们使用 Spark SQL 中的 filter 函数来过滤数据，然后使用 show 函数来显示结果。最后，我们关闭 SparkSession 对象。