Python Selenium 批量下载考生照片脚本:解决文件名错误问题
Python Selenium 批量下载考生照片脚本:解决文件名错误问题
本脚本使用 Python Selenium 和 openpyxl 库,通过自动化操作网页,实现批量下载考生照片的功能。同时解决因文件名包含冒号导致的错误问题。
import os
import time
import psutil
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
from selenium.webdriver.common.by import By
import openpyxl
import urllib.request
# 检查是否已经存在浏览器实例,如果存在则不再创建
for proc in psutil.process_iter():
try:
if 'chrome' in proc.name() and '--remote-debugging-port=9224' in proc.cmdline():
options = Options()
options.add_experimental_option('debuggerAddress', '127.0.0.1:9224')
break
except:
pass
else:
# 创建浏览器实例
os.system(r'start chrome --remote-debugging-port=9224 --user-data-dir="D:\评阅用"')
options = Options()
options.add_experimental_option('debuggerAddress', '127.0.0.1:9224')
# 在已有的浏览器实例中查找标签页
driver = webdriver.Chrome(options=options)
tabs = driver.window_handles
for tab in tabs:
driver.switch_to.window(tab)
if driver.title == '考后核验':
print('登陆成功')
break
# 打开Excel表格
wb = openpyxl.load_workbook(r'C:\Users\Administrator\Desktop\考后核验.xlsx')
sheet = wb.active
# 创建照片文件夹
photo_folder = r'C:\Users\Administrator\Desktop\照片'
if not os.path.exists(photo_folder):
os.mkdir(photo_folder)
# 遍历时间单元K列
time_set = set()
for row in sheet.iter_rows(min_row=2, max_row=sheet.max_row, min_col=11, max_col=11):
for cell in row:
# 获取时间单元内的数据
data = cell.value
if data and data not in time_set:
# 创建子文件夹
folder_name = time.strftime('%Y-%m-%d %H_%M_%S', time.strptime(data, '%Y-%m-%d %H:%M:%S')) # 将冒号替换为下划线
folder_path = os.path.join(photo_folder, folder_name)
if not os.path.exists(folder_path):
os.mkdir(folder_path)
time_set.add(data)
# 遍历表格内'A'列数据
for row in sheet.iter_rows(min_row=2, max_row=sheet.max_row, min_col=1, max_col=1):
for cell in row:
# 获取学号
student_id = cell.value
if student_id:
# 在网页内查找考生信息
search_input = driver.find_element(By.XPATH, '//input[@placeholder="姓名/考生号"]')
search_input.clear()
search_input.send_keys(student_id)
time.sleep(1) # 等待页面加载完成
search_button = driver.find_element(By.XPATH, '//button[@class="ant-btn ant-btn-primary"]')
driver.execute_script('arguments[0].click();', search_button)
time.sleep(1) # 等待页面加载完成
# 查找时间和考场编号
time_cells = driver.find_elements(By.XPATH, '//td[@class="ant-table-column-has-actions ant-table-column-has-sorters" and @style="text-align: center;"]')
room_cells = driver.find_elements(By.XPATH, '//td[@class="ant-table-column-has-actions ant-table-column-has-sorters" and @style="text-align: center;"]')
# 遍历时间和考场编号,查找匹配的数据
for time_cell, room_cell in zip(time_cells, room_cells):
time_text = time_cell.text
room_text = room_cell.text
if time_text in time_set:
# 在对应的时间文件夹下创建考场编号文件夹
folder_name = room_text
folder_path = os.path.join(photo_folder, time_text, folder_name)
if not os.path.exists(folder_path):
os.mkdir(folder_path)
# 获取学号和姓名
student_id_element = driver.find_element(By.XPATH, '//td[@class="ant-table-column-has-actions ant-table-column-has-sorters" and text()="{}"]/preceding-sibling::td'.format(time_text))
student_name_element = driver.find_element(By.XPATH, '//td[@class="ant-table-column-has-actions ant-table-column-has-sorters" and text()="{}"]/following-sibling::td'.format(time_text))
student_id_text = student_id_element.text
student_name_text = student_name_element.text
# 获取照片链接
photo_element = driver.find_element(By.XPATH, '//td[@class="ant-table-column-has-actions ant-table-column-has-sorters" and text()="{}"]/following-sibling::td//img'.format(time_text))
photo_url = photo_element.get_attribute('src')
# 下载照片
photo_name = student_id_text + '_' + student_name_text + '.jpg'
photo_path = os.path.join(folder_path, photo_name)
urllib.request.urlretrieve(photo_url, photo_path)
代码修改说明:
在创建子文件夹时,将时间格式中的冒号替换为下划线,避免文件名包含冒号导致错误。
folder_name = time.strftime('%Y-%m-%d %H_%M_%S', time.strptime(data, '%Y-%m-%d %H:%M:%S'))
使用方法:
- 将代码保存为 .py 文件。
- 将 '考后核验.xlsx' 文件放在代码文件同一目录下,并将 '考后核验.xlsx' 文件中的第一列设置为学号,第十一列设置为时间。
- 修改代码中 'D:\评阅用' 为浏览器用户数据目录,以及 'C:\Users\Administrator\Desktop\照片' 为照片存放目录。
- 运行代码。
注意事项:
- 代码需要安装 Selenium、openpyxl、psutil 库,可以使用 pip install 命令进行安装。
- 代码需要使用 Chrome 浏览器,并且需要开启远程调试功能。在 Chrome 地址栏输入
chrome://flags/#remote-debugging-port,并将Remote Debugging选项设置为Enabled,然后重启 Chrome 浏览器。 - 代码需要访问考后核验网站,请确保您有相应的权限。
- 代码下载的照片会保存在
C:\Users\Administrator\Desktop\照片目录下,并将按时间和考场编号进行分类。
代码功能:
- 检查是否存在 Chrome 浏览器实例,如果存在则不再创建新的实例。
- 打开 '考后核验.xlsx' 文件。
- 创建照片存放目录。
- 遍历 Excel 表格中的时间列,创建对应的时间文件夹。
- 遍历 Excel 表格中的学号列,查找考生信息,获取考生照片链接并下载照片,并保存到对应的时间和考场编号的文件夹下。
代码优势:
- 自动下载考生照片,提高效率。
- 解决文件名包含冒号导致的错误问题,确保文件保存正常。
- 代码结构清晰,易于理解和修改。
希望本脚本能够帮助您更好地完成考生照片的批量下载任务!
温馨提示:
请谨慎使用本脚本,避免对网站造成任何负面影响。在使用前请仔细阅读并理解代码,并确保您已获得网站运营方的授权。
原文地址: https://www.cveoy.top/t/topic/fIXU 著作权归作者所有。请勿转载和采集!