要获取网页数据,可以使用Python中的'requests'库和'BeautifulSoup'库。

下面是一个简单的示例程序,它使用'requests'库获取一个网页,并使用'BeautifulSoup'库解析HTML代码:

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'
response = requests.get(url)
html = response.content

soup = BeautifulSoup(html, 'html.parser')
title = soup.title.string

print('Title: ', title)

在这个示例中,我们使用'requests'库的'get'方法发送了一个GET请求来获取一个网页的内容,然后将响应的内容存储在变量'html'中。

然后,我们使用'BeautifulSoup'库来解析HTML代码。在这个示例中,我们用'html.parser'作为解析器来解析HTML代码。我们可以使用'BeautifulSoup'库提供的各种方法来从HTML代码中提取数据。

在这个示例中,我们使用'soup.title.string'来获取网页的标题。'soup.title'表示网页的标题标签,'.string'表示标签的文本内容。

使用这种方法,我们可以轻松地获取网页数据并进行处理。

Python网页数据抓取教程:使用requests和BeautifulSoup库

原文地址: https://www.cveoy.top/t/topic/lPte 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录