selenium 爬虫模板
下面是一个简单的Selenium爬虫模板:
from selenium import webdriver
# 初始化浏览器驱动,这里使用Chrome,其他浏览器类似
driver = webdriver.Chrome()
# 打开网页
driver.get("https://example.com")
# 执行一些操作,例如点击按钮、填写表单等
# ...
# 获取页面内容
page_content = driver.page_source
# 关闭浏览器驱动
driver.quit()
# 处理页面内容,例如解析HTML、提取数据等
# ...
# 打印结果
print(page_content)
在这个模板中,首先需要导入webdriver模块。然后,使用webdriver.Chrome()初始化一个Chrome浏览器驱动,你也可以使用其他浏览器的驱动。接下来,使用driver.get()方法打开要爬取的网页。然后,可以执行一些操作,例如点击按钮、填写表单等,这一步可以根据实际需要进行操作。使用driver.page_source可以获取当前页面的源代码。最后,使用driver.quit()关闭浏览器驱动。在关闭浏览器之后,可以对获取到的页面内容进行处理,例如解析HTML、提取数据等。最后,打印结果或者进行其他操作
原文地址: https://www.cveoy.top/t/topic/hDix 著作权归作者所有。请勿转载和采集!