Python爬虫实战：抓取豆瓣电影《穿靴子的猫2》所有影评数据

使用Selenium库中的webdriver模块创建浏览器对象，可以选择Chrome、Firefox等浏览器。代码如下：

from selenium import webdriver

browser = webdriver.Chrome()  # 创建Chrome浏览器对象

访问url地址： 使用浏览器对象的get()方法访问url地址，代码如下：

url = 'https://movie.douban.com/subject/27074316/comments?status=P'
browser.get(url)  # 访问url地址

定位元素点击： 使用浏览器对象的find_element_by_xpath()或find_element_by_css_selector()方法定位元素，并使用click()方法模拟点击。代码如下：

# 使用XPath定位元素并点击
btn_next = browser.find_element_by_xpath('//a[@class="next"]')
btn_next.click()

# 使用CSS Selector定位元素并点击
btn_next = browser.find_element_by_css_selector('.next a')
btn_next.click()

完整代码示例：

from selenium import webdriver
import time

browser = webdriver.Chrome()
url = 'https://movie.douban.com/subject/27074316/comments?status=P'
browser.get(url)

while True:
    time.sleep(1)
    comments = browser.find_elements_by_css_selector('.comment-item')
    for comment in comments:
        print(comment.text)
    
try:
        btn_next = browser.find_element_by_xpath('//a[@class="next"]')
        btn_next.click()
    except:
        break
        
browser.quit()