import requestsfrom bs4 import BeautifulSoupimport openpyxl# 设置请求头模拟浏览器访问headers = User-Agent Mozilla50 Windows NT 100; Win64; x64 AppleWebKit53736 KHTML like Gecko Chrome5803029110 Safari5373# 请求
可能是因为网站有反爬虫机制,导致请求被拒绝或者获取的内容不正确。可以尝试以下方法:
-
检查请求头是否正确,可以使用浏览器打开网站,查看浏览器发送的请求头,将其中的 User-Agent 等信息复制到代码中。
-
尝试使用代理IP,避免请求被封禁。
-
检查代码中的解析逻辑是否正确,可以使用 print() 打印获取的内容,检查是否正确。
-
如果以上方法都无效,可以考虑使用其他库或者框架,如 Scrapy、Selenium 等。
原文地址: https://www.cveoy.top/t/topic/crBw 著作权归作者所有。请勿转载和采集!