使用Spark Streaming实时获取天气数据的模块示例

以下是一个使用Spark Streaming实现天气数据实时获取的模块的示例：

from pyspark.streaming import StreamingContext
import requests

# 创建一个StreamingContext，每5秒读取一次数据
ssc = StreamingContext(sparkContext, 5)

# 从API获取天气数据
def get_weather_data():
    url = 'http://api.openweathermap.org/data/2.5/weather?q=London,uk&appid=<API_KEY>'
    response = requests.get(url)
    return response.json()

# 创建一个DStream，每5秒获取一次天气数据
weather_stream = ssc.socketTextStream('localhost', 9999).map(lambda x: get_weather_data())

# 打印DStream中的数据
weather_stream.pprint()

# 启动StreamingContext
ssc.start()
ssc.awaitTermination()

该模块会每5秒从API获取一次天气数据，并将其打印到控制台上。您可以将其与其他Spark Streaming模块结合使用，以便对数据进行处理和分析。