本文将介绍如何使用Python采集豆瓣和时光电影的数据,并进行数据清洗和分析。我们将使用Anaconda作为我们的开发环境,并使用一些常用的Python库来处理数据。

一、数据采集

1.1 豆瓣数据采集

豆瓣是一个知名的社交网站,用户可以在上面分享自己的电影、书籍、音乐等喜好。我们可以通过豆瓣的API接口来获取电影信息。具体步骤如下:

  1. 在豆瓣开发者网站上注册账号并创建应用,获取API key和secret。

  2. 安装requests库,用于发送HTTP请求。

  3. 编写Python代码,发送HTTP请求并解析返回的JSON数据。

下面是具体的代码实现:

import requests

API_KEY = 'your_api_key'
API_SECRET = 'your_api_secret'

url = 'https://api.douban.com/v2/movie/top250'
params = {'apikey': API_KEY}

response = requests.get(url, params=params)
data = response.json()

for movie in data['subjects']:
    print(movie['title'], movie['rating']['average'])

这段代码会获取豆瓣电影Top250的电影名称和评分。

1.2 时光电影数据采集

时光电影是一个专业的电影网站,提供了丰富的电影信息。我们可以通过爬虫技术来获取电影信息。具体步骤如下:

  1. 安装BeautifulSoup库,用于解析HTML页面。

  2. 使用requests库发送HTTP请求,并使用BeautifulSoup库解析返回的HTML页面。

下面是具体的代码实现:

import requests
from bs4 import BeautifulSoup

url = 'http://www.mtime.com/top/movie/top100/'
response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')

for li in soup.select('#asyncRatingRegion li'):
    title = li.select_one('.movietit a').get_text()
    rating = li.select_one('.movieratingbox .ratdig').get_text()
    print(title, rating)

这段代码会获取时光电影Top100的电影名称和评分。

二、数据清洗

2.1 豆瓣数据清洗

豆瓣返回的数据已经是JSON格式,我们只需要解析JSON数据即可。但是,豆瓣的API接口有一些限制,例如每个IP地址每小时只能访问150次。因此,我们需要使用代理IP来避免被封IP。

下面是具体的代码实现:

import requests
import json

API_KEY = 'your_api_key'
API_SECRET = 'your_api_secret'
PROXY_POOL_URL = 'http://localhost:5555/random'

def get_proxy():
    try:
        response = requests.get(PROXY_POOL_URL)
        if response.status_code == 200:
            return response.text
        return None
    except ConnectionError:
        return None

def get_movie_data(start):
    url = 'https://api.douban.com/v2/movie/top250'
    params = {'apikey': API_KEY, 'start': start, 'count': 20}
    proxy = get_proxy()
    proxies = {'http': 'http://' + proxy, 'https': 'https://' + proxy}

    response = requests.get(url, params=params, proxies=proxies)
    data = json.loads(response.text)

    return data

movies = []

for i in range(0, 250, 20):
    data = get_movie_data(i)
    movies.extend(data['subjects'])

for movie in movies:
    print(movie['title'], movie['rating']['average'])

这段代码会获取豆瓣电影Top250的电影名称和评分,并使用代理IP来避免被封IP。

2.2 时光电影数据清洗

时光电影返回的数据是HTML格式,我们需要使用BeautifulSoup库来解析HTML页面。但是,时光电影的HTML页面结构比较复杂,我们需要使用正则表达式来提取数据。

下面是具体的代码实现:

import requests
import re
from bs4 import BeautifulSoup

url = 'http://www.mtime.com/top/movie/top100/'
response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')

movies = []

for li in soup.select('#asyncRatingRegion li'):
    title = li.select_one('.movietit a').get_text()
    rating = li.select_one('.movieratingbox .ratdig').get_text()
    year = re.search('\((\d+)\)', title).group(1)
    title = re.sub('\(\d+\)', '', title)
    movies.append({'title': title, 'rating': rating, 'year': year})

for movie in movies:
    print(movie['title'], movie['rating'], movie['year'])

这段代码会获取时光电影Top100的电影名称、评分和年份,并使用正则表达式来提取数据。

三、数据分析

3.1 豆瓣电影数据分析

我们可以使用pandas库来处理数据,并使用matplotlib库来绘制图表。

下面是具体的代码实现:

import requests
import json
import pandas as pd
import matplotlib.pyplot as plt

API_KEY = 'your_api_key'
API_SECRET = 'your_api_secret'
PROXY_POOL_URL = 'http://localhost:5555/random'

def get_proxy():
    try:
        response = requests.get(PROXY_POOL_URL)
        if response.status_code == 200:
            return response.text
        return None
    except ConnectionError:
        return None

def get_movie_data(start):
    url = 'https://api.douban.com/v2/movie/top250'
    params = {'apikey': API_KEY, 'start': start, 'count': 20}
    proxy = get_proxy()
    proxies = {'http': 'http://' + proxy, 'https': 'https://' + proxy}

    response = requests.get(url, params=params, proxies=proxies)
    data = json.loads(response.text)

    return data

movies = []

for i in range(0, 250, 20):
    data = get_movie_data(i)
    movies.extend(data['subjects'])

df = pd.DataFrame(movies, columns=['title', 'rating'])

df['rating'] = df['rating'].astype(float)

plt.hist(df['rating'], bins=10)
plt.xlabel('Rating')
plt.ylabel('Count')
plt.title('Distribution of Ratings')
plt.show()

这段代码会获取豆瓣电影Top250的电影名称和评分,并绘制评分分布图。

3.2 时光电影数据分析

我们可以使用pandas库来处理数据,并使用matplotlib库来绘制图表。

下面是具体的代码实现:

import requests
import re
import pandas as pd
import matplotlib.pyplot as plt

url = 'http://www.mtime.com/top/movie/top100/'
response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')

movies = []

for li in soup.select('#asyncRatingRegion li'):
    title = li.select_one('.movietit a').get_text()
    rating = li.select_one('.movieratingbox .ratdig').get_text()
    year = re.search('\((\d+)\)', title).group(1)
    title = re.sub('\(\d+\)', '', title)
    movies.append({'title': title, 'rating': rating, 'year': year})

df = pd.DataFrame(movies, columns=['title', 'rating', 'year'])

df['rating'] = df['rating'].astype(float)
df['year'] = df['year'].astype(int)

df.groupby('year')['rating'].mean().plot()
plt.xlabel('Year')
plt.ylabel('Rating')
plt.title('Average Rating by Year')
plt.show()

这段代码会获取时光电影Top100的电影名称、评分和年份,并绘制年份和评分的关系图。

四、总结

本文介绍了如何使用Python采集豆瓣和时光电影的数据,并进行数据清洗和分析。我们使用了Anaconda作为我们的开发环境,并使用了一些常用的Python库来处理数据。我们学习了如何使用API接口和爬虫技术来获取数据,如何使用pandas库来处理数据,如何使用matplotlib库来绘制图表。这些技能对于数据分析师来说是非常重要的。

Python数据采集豆瓣+时光电影数据并清洗利用Anaconda分析数据结果的5000字论文

原文地址: https://www.cveoy.top/t/topic/b1UU 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录