Python爬虫数据清洗 - 51job招聘信息和人才数据处理

import pandas as pd

# 处理result1-1.csv
df1 = pd.read_csv('result1-1.csv')
# 删除招聘信息ID、企业名称、招聘岗位、最大薪资、最小薪资、学历要求这些列中有重复的行
df1.drop_duplicates(subset=['招聘信息ID', '企业名称', '招聘岗位', '最大薪资', '最小薪资', '学历要求'], inplace=True)
# 删除招收人数为0的行
df1 = df1[df1['招收人数']!=0]
# 重新设置序号
df1.reset_index(drop=True, inplace=True)
# 保存处理后的结果
df1.to_csv('result1-1_clean.csv', index=False)

# 处理result1-2.csv
df2 = pd.read_csv('result1-2.csv')
# 删除个人经验为空的行
df2 = df2[df2['个人经验'].notnull()]
# 重新设置序号
df2.reset_index(drop=True, inplace=True)
# 保存处理后的结果
df2.to_csv('result1-2_clean.csv', index=False)