Python+Selenium 自动化脚本:打开浏览器、查找课程、展开所有节点并提取参考资料
import os
import psutil
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
from selenium.webdriver.common.by import By
# 检查是否已经存在浏览器实例,如果存在则不再创建
for proc in psutil.process_iter():
try:
if 'chrome' in proc.name() and '--remote-debugging-port=9223' in proc.cmdline():
options = Options()
options.add_experimental_option('debuggerAddress', '127.0.0.1:9223')
break
except:
pass
else:
# 创建浏览器实例
os.system(r'start chrome --remote-debugging-port=9223 --user-data-dir='D:\评阅用'')
options = Options()
options.add_experimental_option('debuggerAddress', '127.0.0.1:9223')
# 在已有的浏览器实例中查找标签页
driver = webdriver.Chrome(options=options)
tabs = driver.window_handles
for tab in tabs:
driver.switch_to.window(tab)
if driver.title == '国家开放大学个人空间':
break
# 在网页中查找课程
elements = driver.find_elements(By.CLASS_NAME,'learning_course')
for element in elements:
if element.text == '国家开放大学学习指南':
element.click()
break
# 切换到点击课程后的标签页
tabs = driver.window_handles
for tab in tabs:
if tab != driver.current_window_handle:
driver.switch_to.window(tab)
break
# 等待网页加载完成
driver.implicitly_wait(10)
# 判断网页是否卡住,如果卡住就刷新一下网页
if driver.execute_script('return document.readyState') != 'complete':
driver.refresh()
# 在网页中查找'进行中'并点击
elements = driver.find_elements(By.CLASS_NAME, 'item-status')
for element in elements:
if element.text == '进行中':
element.click()
break
else:
# 如果没找到'进行中',则点击全部展开
elements = driver.find_elements(By.CLASS_NAME, 'icon.font.font-toggle-all-collapsed')
if elements:
elements[0].click()
# 等待课程全部展开
driver.implicitly_wait(10)
# 再次查找'进行中'元素并点击
elements = driver.find_elements(By.CLASS_NAME, 'item-status')
for element in elements:
if element.text == '进行中':
element.click()
break
# 等待网页加载完成
driver.implicitly_wait(10)
# 判断网页是否卡住,如果卡住就刷新一下网页
if driver.execute_script('return document.readyState') != 'complete':
driver.refresh()
# 在网页中查找所有展开按钮并点击
while True:
elements = driver.find_elements(By.CLASS_NAME, 'font-toggle-collapsed')
if not elements:
break
for element in elements:
driver.execute_script('arguments[0].click();', element)
# 在网页中查找所有参考资料元素并提取文字
elements = driver.find_elements(By.CSS_SELECTOR, 'i.full-screen-activity-icon.font.font-syllabus-material')
for element in elements:
text = element.get_attribute('original-title')
print(text)
原文地址: https://www.cveoy.top/t/topic/f277 著作权归作者所有。请勿转载和采集!