出租车和顾客数据处理代码解析:生成多个CSV文件
该代码主要对出租车和顾客的数据进行处理,生成多个文件以供后续使用。具体实现过程如下:
-
导入所需的包,包括 pandas、numpy、geopy 等。
-
从 csv 文件中读取出租车和顾客的数据,并删除前 8 列数据,然后将 'trip_time_in_secs' 列重命名为 'trip_time_in_mins'。
-
对于每个顾客文件和出租车文件,进行如下操作:
-
如果是顾客文件,则将其按照一定规则处理后保存为新的文件。
-
如果是出租车文件,则将其按照一定规则处理后保存为新的文件。
-
对于每个顾客文件,先根据一定规则筛选有效的请求,然后为每个请求生成一个唯一的 ID,并根据一定规则生成 CS_distance 和 customer_waiting_time_in_mins 两列数据。最后将所需列保存为新的 csv 文件。
-
对于每个出租车文件,将 pickup_longitude 和 pickup_latitude 两列数据重命名为 taxi_longitude 和 taxi_latitude,并删除 dropoff_longitude、dropoff_latitude、trip_time_in_mins 和 trip_distance 四列数据。然后为每辆出租车生成一个唯一的 ID,并根据一定规则生成 soc 一列数据。最后将所需列保存为新的 csv 文件。
import pandas as pd
import numpy as np
from geopy.distance import great_circle
import random
def trip_distance(long1, lat1, long2, lat2):
GPS1 = (long1, lat1)
GPS2 = (long2, lat2)
return 1.4413 * great_circle(GPS1, GPS2).miles + 0.1383 # miles
data = pd.read_csv('data.csv')
data.drop(data.columns[0:8], axis=1, inplace=True)
data = data.rename(columns={'trip_time_in_secs': 'trip_time_in_mins'}, inplace=False)
rows = data.index.tolist()
for r in rows:
data['trip_time_in_mins'][r] = data['trip_time_in_mins'][r] / 60
customerFiles = 5
customerFilesRows = 500
taxiFiles = 5
taxiFilesRows = 300
safeBufferForCustomerFiles = 50
safeBufferForTaxiFiles = 30
cs_min = 0.2
cs_max = 1.2
cw_min = 1
cw_max = 20
soc_min = 0.1
soc_max = 1.0
for i in range(customerFiles + taxiFiles):
if (i < customerFiles):
df = data[(customerFilesRows + safeBufferForTaxiFiles) * i : (customerFilesRows + safeBufferForTaxiFiles) * (i + 1)]
request_index = df.index.tolist()
idx = 1
for index in request_index:
df.loc[index, 'trip_distance'] = round(trip_distance(df['pickup_longitude'][index], df['pickup_latitude'][index],
df['dropoff_longitude'][index], df['dropoff_latitude'][index]), 3)
if df['trip_distance'][index] < 0.5:
df.drop(index, axis=0, inplace=True)
continue
df.loc[index, 'customer_id'] = idx
idx += 1
df.loc[index, 'CS_distance'] = round(cs_min + (cs_max - cs_min) * random.random(), 3)
df.loc[index, 'customer_waiting_time_in_mins'] = round(cw_min + (cw_max - cw_min) * random.random(), 1)
df = df.loc[:, ['customer_id', 'pickup_longitude', 'pickup_latitude', 'dropoff_longitude', 'dropoff_latitude', 'trip_distance', 'trip_time_in_mins', 'CS_distance', 'customer_waiting_time_in_mins']]
df.drop(df.index[500:], inplace=True)
df.to_csv(f'customer_trip_data_{i + 1}_copy.csv', index=False)
df.drop(df.index[50:], inplace=True)
df.to_csv(f'customer_trip_data_{i + 1}.csv', index=False)
else:
df = data[(taxiFilesRows + safeBufferForTaxiFiles) * i : (taxiFilesRows + safeBufferForTaxiFiles) * (i + 1)]
rows = df.index.tolist()
for r in rows:
df = df.rename(columns={'pickup_longitude': 'taxi_longitude'}, inplace=False)
df = df.rename(columns={'pickup_latitude': 'taxi_latitude'}, inplace=False)
df.drop('dropoff_longitude', axis=1, inplace=True)
df.drop('dropoff_latitude', axis=1, inplace=True)
df.drop('trip_time_in_mins', axis=1, inplace=True)
df.drop('trip_distance', axis=1, inplace=True)
taxi_index = df.index.tolist()
idx = 1
for index in taxi_index:
df.loc[index, 'taxi_id'] = idx
idx += 1
df.loc[index, 'soc'] = round(soc_min + (soc_max - soc_min) * random.random(), 2)
df = df.loc[:, ['taxi_id', 'taxi_longitude', 'taxi_latitude', 'soc']]
df.drop(df.index[300:], inplace=True)
df.to_csv(f'taxi_data_{i + 1 - customerFiles}_copy.csv', index=False)
df.drop(df.index[30:], inplace=True)
df.to_csv(f'taxi_data_{i + 1}.csv', index=False)
该代码使用 Pandas 库读取数据,并利用 NumPy 和 Geopy 进行计算。其中,trip_distance 函数使用 Geopy 库计算两点之间的距离,并进行一定的转换。代码最后将处理后的数据保存为多个 CSV 文件,方便后续使用。
注意: 代码中的 data.csv 文件应包含出租车和顾客的原始数据。您需要根据自己的实际情况修改代码中的相关参数,例如数据文件路径、文件数量、文件大小等。
原文地址: https://www.cveoy.top/t/topic/m2Ao 著作权归作者所有。请勿转载和采集!