import requestsfrom bs4 import BeautifulSoupimport pandas as pdfrom selenium import webdriverimport time# 设置请求头count=0review_dict = url =httpswwwbookingcnhotelcnchengdu-tuo-ban-xie-qing-nian-lv-shezh-
这段代码是使用selenium模拟浏览器请求,爬取某个酒店的评论信息。首先创建一个浏览器对象,打开指定的网页,等待页面加载完成后,解析页面,获取评论信息并存储在一个字典中。然后判断是否还有下一页评论,如果有就点击下一页按钮,等待页面加载完成后继续解析评论信息。最后关闭浏览器。
这段代码可能会报错"WebDriverException: unknown error: cannot find Chrome binary",是因为在创建浏览器对象时需要指定Chrome浏览器的路径,如果没有指定或者指定错误,就会报这个错。可以通过指定Chrome浏览器的路径来解决这个问题。例如:
browser = webdriver.Chrome('/usr/bin/google-chrome')
其中'/usr/bin/google-chrome'是Chrome浏览器的路径。
原文地址: https://www.cveoy.top/t/topic/eiDM 著作权归作者所有。请勿转载和采集!