Python爬取豆瓣电影《穿靴子的猫2》影评数据代码示例

抓取豆瓣电影《穿靴子的猫2》影评数据的代码如下：

import requests
from bs4 import BeautifulSoup
import time

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

url = 'https://movie.douban.com/subject/26787574/comments?start={}&limit=20&sort=new_score&status=P'

comments = []

for i in range(0, 500, 20):
    r = requests.get(url.format(i), headers=headers)
    soup = BeautifulSoup(r.text, 'html.parser')
    comment_div_list = soup.find_all('div', class_='comment')
    for item in comment_div_list:
        comment = item.find('span', class_='short').string.strip()
        comments.append(comment)
    time.sleep(2)

print(comments)

解释：

首先需要导入requests和BeautifulSoup库
设置请求头headers，模拟浏览器请求，防止被封禁IP
定义要爬取的url，使用format()方法替换页码
定义一个空列表comments，用来存储所有评论数据
循环遍历每一页，每页有20条评论，所以每次加20
发送请求，获取HTML页面
使用BeautifulSoup解析HTML页面，找到所有class为'comment'的div标签
遍历div标签，找到评论内容
将评论内容添加到comments列表中
程序休眠2秒，防止请求过于频繁
最后输出所有评论数据