使用 Spark 获取和清洗天气数据

利用 Spark 获取天气数据的模块：

首先，需要从数据源获取天气数据，可以使用 Spark 的 DataFrame API 来读取数据。假设数据源是一个 CSV 文件，包含以下字段：日期、城市、最高温度、最低温度、天气状况等。

代码如下：

from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder.appName('WeatherData').getOrCreate()

# 读取 CSV 文件
weather_data = spark.read.format('csv').option('header', 'true').load('weather_data.csv')

# 显示数据
weather_data.show()

数据清洗的模块：

在获取到天气数据后，需要进行数据清洗，以去除无效数据、处理缺失值等。

首先，可以使用 Spark 的 DataFrame API 来过滤无效数据，例如过滤掉温度为负数的数据：

# 过滤掉温度为负数的数据
weather_data_filtered = weather_data.filter(weather_data['最高温度'] > 0).filter(weather_data['最低温度'] > 0)

# 显示过滤后的数据
weather_data_filtered.show()

接下来，可以使用 Spark 的 DataFrame API 来处理缺失值，例如使用平均值来填充缺失的温度数据：

# 计算最高温度和最低温度的平均值
avg_max_temp = weather_data_filtered.agg({'最高温度': 'avg'}).collect()[0][0]
avg_min_temp = weather_data_filtered.agg({'最低温度': 'avg'}).collect()[0][0]

# 使用平均值来填充缺失的温度数据
weather_data_cleaned = weather_data_filtered.na.fill({'最高温度': avg_max_temp, '最低温度': avg_min_temp})

# 显示清洗后的数据
weather_data_cleaned.show()

以上代码演示了如何使用 Spark 来进行数据清洗，实际应用中还需要根据具体业务需求进行适当的数据处理和转换。