以下是一个简单的爬虫模板,可用于爬取网站上的信息:

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'  # 要爬取的网站
response = requests.get(url)  # 发送 GET 请求并得到响应

if response.status_code == 200:  # 如果响应状态码为 200,表示请求成功
    soup = BeautifulSoup(response.text, 'html.parser')  # 使用 BeautifulSoup 解析响应内容

    # 在这里写代码,从 soup 中提取需要的信息
else:
    print('请求失败,状态码为', response.status_code)

在这个模板中,我们使用 requests 库发送 GET 请求,并得到响应。如果响应状态码为 200,表示请求成功,我们就可以使用 BeautifulSoup 库解析响应内容,从中提取我们需要的信息。如果请求失败,我们就打印出状态码,以便进行调试。在这个模板中,你需要自己编写从 soup 中提取信息的代码。

Python 爬虫模板:快速入门指南

原文地址: https://www.cveoy.top/t/topic/nKn2 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录