PEMS-SF 数据集处理指南：特征工程与静态特征添加

处理 PEMS-SF 数据集并添加静态特征的一般步骤如下：

导入 PEMS-SF 数据集：可以使用 pandas 库中的 read_csv() 函数导入 csv 格式的数据集。例如：

import pandas as pd

pems_sf = pd.read_csv('pems_sf.csv')

数据清洗：可以使用 pandas 库中的 dropna() 函数删除缺失值，使用 fillna() 函数填充缺失值。例如：

# 删除缺失值
pems_sf = pems_sf.dropna()

# 填充缺失值
pems_sf = pems_sf.fillna(method='ffill')  # 使用前向填充方法

数据整理：可以使用 pandas 库中的 groupby() 函数进行数据分组，使用 agg() 函数进行聚合操作，例如求平均值、最大值、最小值等。例如：

# 按照时间分组，求每个时间段的平均值
pems_sf_grouped = pems_sf.groupby('time').agg('mean')

添加静态特征：由于没有天气、节假日等静态变量的 csv 文件，我们可以通过其他途径获取这些数据，例如调用 API 或从相关网站爬取数据。将获取的静态特征数据整理成 DataFrame 格式，并根据共同的列（例如时间）与 PEMS-SF 数据集进行合并。例如：

# 假设我们已经获取了天气特征数据，并存储在名为 'weather.csv' 的文件中
weather = pd.read_csv('weather.csv')

# 将天气特征数据集和 PEMS-SF 数据集按照时间匹配，并添加到 PEMS-SF 数据集中
pems_sf_merged = pd.merge(pems_sf_grouped, weather, on='time')

特征工程：可以使用 pandas 库中的 apply() 函数对数据进行特征工程，例如将时间列分解成小时、分钟、星期等。例如：

# 将时间列分解成小时、分钟、星期等
pems_sf_merged['hour'] = pems_sf_merged['time'].apply(lambda x: int(x[11:13]))
pems_sf_merged['minute'] = pems_sf_merged['time'].apply(lambda x: int(x[14:16]))
pems_sf_merged['weekday'] = pems_sf_merged['time'].apply(lambda x: pd.Timestamp(x).weekday())

特征选择：可以使用 pandas 库中的 corr() 函数计算特征之间的相关性，并选择相关性较高的特征。例如：

# 计算特征之间的相关性
corr_matrix = pems_sf_merged.corr()

# 选择相关性较高的特征
high_corr_features = corr_matrix.index[abs(corr_matrix['target']) > 0.5]

数据划分：可以使用 sklearn 库中的 train_test_split() 函数将数据集划分为训练集和测试集。例如：

from sklearn.model_selection import train_test_split

X = pems_sf_merged[high_corr_features].drop('target', axis=1)
y = pems_sf_merged['target']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

模型训练和评估：可以使用 sklearn 库中的各种模型进行训练和评估，例如线性回归模型和随机森林模型等。例如：

from sklearn.linear_model import LinearRegression
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error

# 线性回归模型
lr = LinearRegression()
lr.fit(X_train, y_train)
y_pred_lr = lr.predict(X_test)
mse_lr = mean_squared_error(y_test, y_pred_lr)

# 随机森林模型
rf = RandomForestRegressor()
rf.fit(X_train, y_train)
y_pred_rf = rf.predict(X_test)
mse_rf = mean_squared_error(y_test, y_pred_rf)

以上步骤只是处理 PEMS-SF 数据集的通用流程，具体细节可能需要根据实际情况进行调整。例如，数据清洗、特征工程和特征选择方法可以根据数据特征进行选择。模型训练和评估也需要根据实际目标进行选择和调整。