Python 爬虫模板:快速入门指南
以下是一个简单的爬虫模板,可用于爬取网站上的信息:
import requests
from bs4 import BeautifulSoup
url = 'http://example.com' # 要爬取的网站
response = requests.get(url) # 发送 GET 请求并得到响应
if response.status_code == 200: # 如果响应状态码为 200,表示请求成功
soup = BeautifulSoup(response.text, 'html.parser') # 使用 BeautifulSoup 解析响应内容
# 在这里写代码,从 soup 中提取需要的信息
else:
print('请求失败,状态码为', response.status_code)
在这个模板中,我们使用 requests 库发送 GET 请求,并得到响应。如果响应状态码为 200,表示请求成功,我们就可以使用 BeautifulSoup 库解析响应内容,从中提取我们需要的信息。如果请求失败,我们就打印出状态码,以便进行调试。在这个模板中,你需要自己编写从 soup 中提取信息的代码。
原文地址: https://www.cveoy.top/t/topic/nKn2 著作权归作者所有。请勿转载和采集!