Spark SQL: 将数组数据转换为 Dataset[Row]

假设有一个数组数据如下：

val arr = Array(
  Array(1, 'John', 25),
  Array(2, 'Bob', 30),
  Array(3, 'Mary', 35)
)

可以使用sparkSession.createDataFrame方法将数组转换为DataFrame：

import org.apache.spark.sql.types._

val schema = StructType(
  Seq(
    StructField('id', IntegerType, true),
    StructField('name', StringType, true),
    StructField('age', IntegerType, true)
  )
)

val df = sparkSession.createDataFrame(
  sparkContext.parallelize(arr).map(row => Row.fromSeq(row)),
  schema
)

然后，可以使用df.collectAsList()方法将DataFrame转换为一个包含多个Row对象的List，进而使用sparkSession.createDataset方法将List转换为Dataset[Row]：

import scala.collection.JavaConversions._

val rowList = df.collectAsList()
val ds = sparkSession.createDataset(rowList)