PEMS-SF 数据集处理：动态特征提取与静态特征添加

在没有静态特征的情况下，我们可以使用 Python 处理 PEMS-SF 数据集的动态特征，并使用外部数据源来添加静态特征。以下是一些可能有用的步骤：

导入 PEMS-SF 数据集的 matlab 文件，将其转换为 Pandas 数据帧。

import scipy.io as sio
import pandas as pd

mat_data = sio.loadmat('PEMS-SF.mat')
data = mat_data['data']  # 获取数据
column_labels = mat_data['label']  # 获取列标签
df = pd.DataFrame(data.T, columns=column_labels[0])

对数据进行清洗和预处理。这可能包括去除缺失值、异常值和离群值，对数据进行标准化或归一化等。

df.dropna(inplace=True)  # 去除缺失值
df = df[(df >= 0).all(1)]  # 去除负值
df = (df - df.mean()) / df.std()  # 标准化

导入静态特征的外部数据源并将其与 PEMS-SF 数据集合并。例如，我们可以使用天气数据作为静态特征。

weather_df = pd.read_csv('weather.csv')
weather_df['datetime'] = pd.to_datetime(weather_df['datetime'])  # 转换为 datetime 类型
weather_df.set_index('datetime', inplace=True)  # 将 datetime 作为索引

merged_df = df.merge(weather_df, how='left', left_index=True, right_index=True)  # 将两个数据帧合并

在合并后的数据帧中添加一些其他的静态特征。例如，我们可以添加一个二元变量来表示是否是工作日，一个变量来表示是否是假期，等等。

merged_df['weekday'] = merged_df.index.weekday.isin([0, 1, 2, 3, 4]).astype(int)  # 工作日为 1，周末为 0
merged_df['holiday'] = merged_df.index.isin(['2017-01-01', '2017-01-02', '2017-01-16']).astype(int)  # 假期为 1，其他为 0

最后，我们可以使用处理后的数据来训练机器学习模型或进行其他数据分析任务。

X = merged_df.drop(['speed'], axis=1)  # 将速度作为目标变量
y = merged_df['speed']

# 训练机器学习模型
from sklearn.linear_model import LinearRegression
lr = LinearRegression()
lr.fit(X, y)

# 进行预测
y_pred = lr.predict(X)