Python爬虫实战:使用BeautifulSoup库抓取百度首页标题和链接
Python爬虫实战:使用BeautifulSoup库抓取百度首页标题和链接
想要学习如何使用Python编写爬虫程序,抓取网页数据吗?
本教程将带你一步步使用 BeautifulSoup 库,从百度首页提取所有标题和链接。
以下是完整的代码:
import requests
from bs4 import BeautifulSoup
url = 'https://www.baidu.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
for link in soup.find_all('a'):
print(link.get('href'), link.text)
代码解释:
-
导入必要的库:
requests: 用于发送HTTP请求获取网页内容。BeautifulSoup: 用于解析HTML结构,提取所需数据。
-
发送请求获取网页内容:
- 使用
requests.get(url)发送GET请求到百度首页,并将返回的响应对象存储在response变量中。
- 使用
-
解析HTML内容:
- 使用
BeautifulSoup(response.text, 'html.parser')将网页HTML内容解析成BeautifulSoup对象,方便后续操作。
- 使用
-
提取标题和链接:
- 使用
soup.find_all('a')查找所有<a>标签,这些标签通常包含链接和文本。 - 循环遍历所有找到的
<a>标签,使用link.get('href')获取链接地址,使用link.text获取文本内容。
- 使用
-
打印结果:
- 将提取到的链接和文本打印到控制台。
总结:
通过这段简单的代码,你已经学会了如何使用Python的BeautifulSoup库进行基本的网页抓取。
你可以根据自己的需要修改代码,例如将数据保存到文件或数据库中,或者抓取其他网站的数据。
原文地址: https://www.cveoy.top/t/topic/jvda 著作权归作者所有。请勿转载和采集!