Python数据采集豆瓣+时光电影数据并清洗利用Anaconda分析数据结果的5000字论文
本文将介绍如何使用Python采集豆瓣和时光电影的数据,并进行数据清洗和分析。我们将使用Anaconda作为我们的开发环境,并使用一些常用的Python库来处理数据。
一、数据采集
1.1 豆瓣数据采集
豆瓣是一个知名的社交网站,用户可以在上面分享自己的电影、书籍、音乐等喜好。我们可以通过豆瓣的API接口来获取电影信息。具体步骤如下:
-
在豆瓣开发者网站上注册账号并创建应用,获取API key和secret。
-
安装requests库,用于发送HTTP请求。
-
编写Python代码,发送HTTP请求并解析返回的JSON数据。
下面是具体的代码实现:
import requests
API_KEY = 'your_api_key'
API_SECRET = 'your_api_secret'
url = 'https://api.douban.com/v2/movie/top250'
params = {'apikey': API_KEY}
response = requests.get(url, params=params)
data = response.json()
for movie in data['subjects']:
print(movie['title'], movie['rating']['average'])
这段代码会获取豆瓣电影Top250的电影名称和评分。
1.2 时光电影数据采集
时光电影是一个专业的电影网站,提供了丰富的电影信息。我们可以通过爬虫技术来获取电影信息。具体步骤如下:
-
安装BeautifulSoup库,用于解析HTML页面。
-
使用requests库发送HTTP请求,并使用BeautifulSoup库解析返回的HTML页面。
下面是具体的代码实现:
import requests
from bs4 import BeautifulSoup
url = 'http://www.mtime.com/top/movie/top100/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
for li in soup.select('#asyncRatingRegion li'):
title = li.select_one('.movietit a').get_text()
rating = li.select_one('.movieratingbox .ratdig').get_text()
print(title, rating)
这段代码会获取时光电影Top100的电影名称和评分。
二、数据清洗
2.1 豆瓣数据清洗
豆瓣返回的数据已经是JSON格式,我们只需要解析JSON数据即可。但是,豆瓣的API接口有一些限制,例如每个IP地址每小时只能访问150次。因此,我们需要使用代理IP来避免被封IP。
下面是具体的代码实现:
import requests
import json
API_KEY = 'your_api_key'
API_SECRET = 'your_api_secret'
PROXY_POOL_URL = 'http://localhost:5555/random'
def get_proxy():
try:
response = requests.get(PROXY_POOL_URL)
if response.status_code == 200:
return response.text
return None
except ConnectionError:
return None
def get_movie_data(start):
url = 'https://api.douban.com/v2/movie/top250'
params = {'apikey': API_KEY, 'start': start, 'count': 20}
proxy = get_proxy()
proxies = {'http': 'http://' + proxy, 'https': 'https://' + proxy}
response = requests.get(url, params=params, proxies=proxies)
data = json.loads(response.text)
return data
movies = []
for i in range(0, 250, 20):
data = get_movie_data(i)
movies.extend(data['subjects'])
for movie in movies:
print(movie['title'], movie['rating']['average'])
这段代码会获取豆瓣电影Top250的电影名称和评分,并使用代理IP来避免被封IP。
2.2 时光电影数据清洗
时光电影返回的数据是HTML格式,我们需要使用BeautifulSoup库来解析HTML页面。但是,时光电影的HTML页面结构比较复杂,我们需要使用正则表达式来提取数据。
下面是具体的代码实现:
import requests
import re
from bs4 import BeautifulSoup
url = 'http://www.mtime.com/top/movie/top100/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
movies = []
for li in soup.select('#asyncRatingRegion li'):
title = li.select_one('.movietit a').get_text()
rating = li.select_one('.movieratingbox .ratdig').get_text()
year = re.search('\((\d+)\)', title).group(1)
title = re.sub('\(\d+\)', '', title)
movies.append({'title': title, 'rating': rating, 'year': year})
for movie in movies:
print(movie['title'], movie['rating'], movie['year'])
这段代码会获取时光电影Top100的电影名称、评分和年份,并使用正则表达式来提取数据。
三、数据分析
3.1 豆瓣电影数据分析
我们可以使用pandas库来处理数据,并使用matplotlib库来绘制图表。
下面是具体的代码实现:
import requests
import json
import pandas as pd
import matplotlib.pyplot as plt
API_KEY = 'your_api_key'
API_SECRET = 'your_api_secret'
PROXY_POOL_URL = 'http://localhost:5555/random'
def get_proxy():
try:
response = requests.get(PROXY_POOL_URL)
if response.status_code == 200:
return response.text
return None
except ConnectionError:
return None
def get_movie_data(start):
url = 'https://api.douban.com/v2/movie/top250'
params = {'apikey': API_KEY, 'start': start, 'count': 20}
proxy = get_proxy()
proxies = {'http': 'http://' + proxy, 'https': 'https://' + proxy}
response = requests.get(url, params=params, proxies=proxies)
data = json.loads(response.text)
return data
movies = []
for i in range(0, 250, 20):
data = get_movie_data(i)
movies.extend(data['subjects'])
df = pd.DataFrame(movies, columns=['title', 'rating'])
df['rating'] = df['rating'].astype(float)
plt.hist(df['rating'], bins=10)
plt.xlabel('Rating')
plt.ylabel('Count')
plt.title('Distribution of Ratings')
plt.show()
这段代码会获取豆瓣电影Top250的电影名称和评分,并绘制评分分布图。
3.2 时光电影数据分析
我们可以使用pandas库来处理数据,并使用matplotlib库来绘制图表。
下面是具体的代码实现:
import requests
import re
import pandas as pd
import matplotlib.pyplot as plt
url = 'http://www.mtime.com/top/movie/top100/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
movies = []
for li in soup.select('#asyncRatingRegion li'):
title = li.select_one('.movietit a').get_text()
rating = li.select_one('.movieratingbox .ratdig').get_text()
year = re.search('\((\d+)\)', title).group(1)
title = re.sub('\(\d+\)', '', title)
movies.append({'title': title, 'rating': rating, 'year': year})
df = pd.DataFrame(movies, columns=['title', 'rating', 'year'])
df['rating'] = df['rating'].astype(float)
df['year'] = df['year'].astype(int)
df.groupby('year')['rating'].mean().plot()
plt.xlabel('Year')
plt.ylabel('Rating')
plt.title('Average Rating by Year')
plt.show()
这段代码会获取时光电影Top100的电影名称、评分和年份,并绘制年份和评分的关系图。
四、总结
本文介绍了如何使用Python采集豆瓣和时光电影的数据,并进行数据清洗和分析。我们使用了Anaconda作为我们的开发环境,并使用了一些常用的Python库来处理数据。我们学习了如何使用API接口和爬虫技术来获取数据,如何使用pandas库来处理数据,如何使用matplotlib库来绘制图表。这些技能对于数据分析师来说是非常重要的。
原文地址: https://www.cveoy.top/t/topic/b1UU 著作权归作者所有。请勿转载和采集!