导入所需要的函数库

from pyspark.sql.functions import col, from_unixtime

读取数据

df = spark.read.json('/path/to/data')

清洗掉每条数据前面的NUL

df = df.filter(col('_corrupt_record').isNull())

将time转化为日期格式yyyy/MM/dd

df = df.withColumn('time', from_unixtime(col('time')/1000, 'yyyy/MM/dd'))

打印输出

df.show()