您可以使用Python中的Webdriver来模拟用户点击链接,然后继续爬取其他页面的数据。

以下是一个示例代码:

from selenium import webdriver

# 创建一个浏览器
driver = webdriver.Chrome()

# 打开目标页面
driver.get('https://example.com')

# 爬取页面数据
data = driver.find_element_by_xpath('//div[@class='example-data']').text

# 点击链接
link = driver.find_element_by_xpath('//a[@class='example-link']')
link.click()

# 爬取链接页面数据
data2 = driver.find_element_by_xpath('//div[@class='example-data2']').text

# 关闭浏览器
driver.quit()

# 处理数据
# ...

在此示例中,我们使用了Selenium中的webdriver模块创建了一个Chrome浏览器实例,并打开了目标页面。然后,我们使用find_element_by_xpath方法查找需要爬取的数据和链接元素,使用click方法模拟用户点击链接。最后,我们可以继续爬取链接页面的数据,并关闭浏览器。

Python爬虫:点击链接继续爬取数据

原文地址: https://www.cveoy.top/t/topic/oJMH 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录