Python 抓取网站源码提示 'Please enable JavaScript and refresh the page' 解决方法
当使用 Python 的 'get' 方法获取网站源码时,可能会遇到 'Please enable JavaScript and refresh the page' 的提示。这是因为网站的前端代码要求启用 JavaScript 并刷新页面。Python 的 'get' 方法只获取网页的源码,它并不会执行网页中的 JavaScript 代码。
为了正确获取网页内容,可以尝试使用 Python 的 'selenium' 库,它可以模拟用户在浏览器中的操作,包括执行 JavaScript 代码。以下是一个使用 'selenium' 库的例子:
from selenium import webdriver
# 创建一个浏览器驱动
driver = webdriver.Chrome()
# 使用浏览器驱动访问网址
driver.get('http://example.com')
# 等待页面加载完成
driver.implicitly_wait(10)
# 获取页面源码
html_source = driver.page_source
# 关闭浏览器驱动
driver.quit()
# 处理获取到的页面源码
print(html_source)
需要注意的是,使用 'selenium' 库需要安装对应的浏览器驱动,如 Chrome 浏览器需要下载 ChromeDriver,并将其路径加入系统环境变量中。
原文地址: https://www.cveoy.top/t/topic/by55 著作权归作者所有。请勿转载和采集!