Python代码优化:数据增量和丢弃分析
previous_name = f"{tj_config}_{categore_type}_"
previous_file = TianJiIocs.get_previousFile(save_path, save_categorefile, previous_name)
columns = ['category', 'value', 'score']
now_data = TianJiIocs.pickUpDataColumns(categore_type_data, columns)
previous_data = TianJiIocs.pickUpDataColumns(pd.read_csv(previous_file), columns)
repeat_num = len(TianJiIocs.repeatData(now_data, previous_data, 'value'))
record_txt += f"{tj_config}--{categore_type}类型-重复数量{repeat_num}
"
# 增量
Increment_tmpData = TianJiIocs.incrementData(now_data, previous_data, 'value', now_day)
if Increment_tmpData is not None:
record_txt += f"{tj_config}--{categore_type}类型-增量:{len(Increment_tmpData)}
"
df_Increment = pd.concat([Increment_tmpData, df_Increment], ignore_index=True)
else:
record_txt += f"{tj_config}--{categore_type}类型-增量:0
"
# 丢弃
lose_tmpData = TianJiIocs.loseData(previous_data, now_data, 'value', now_day)
if lose_tmpData is not None:
record_txt += f"{tj_config}--{categore_type}类型-丢弃:{len(lose_tmpData)}
"
df_lose = pd.concat([lose_tmpData, df_lose], ignore_index=True)
else:
record_txt += f"{tj_config}--{categore_type}类型-丢弃:0
"
优化内容包括:
- 使用f-string对字符串进行格式化,提高可读性。
- 将重复的print语句替换为直接拼接到record_txt字符串中,减少重复代码。
- 删除了注释掉的print语句,提高代码简洁性。
- 优化了代码的排版,使其更加清晰易读。
原文地址: https://www.cveoy.top/t/topic/eZko 著作权归作者所有。请勿转载和采集!