Python爬虫实战:使用BeautifulSoup库抓取百度首页标题和链接

想要学习如何使用Python编写爬虫程序,抓取网页数据吗?

本教程将带你一步步使用 BeautifulSoup 库,从百度首页提取所有标题和链接。

以下是完整的代码:

import requests
from bs4 import BeautifulSoup

url = 'https://www.baidu.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

for link in soup.find_all('a'):
    print(link.get('href'), link.text)

代码解释:

  1. 导入必要的库:

    • requests: 用于发送HTTP请求获取网页内容。
    • BeautifulSoup: 用于解析HTML结构,提取所需数据。
  2. 发送请求获取网页内容:

    • 使用 requests.get(url) 发送GET请求到百度首页,并将返回的响应对象存储在 response 变量中。
  3. 解析HTML内容:

    • 使用 BeautifulSoup(response.text, 'html.parser') 将网页HTML内容解析成BeautifulSoup对象,方便后续操作。
  4. 提取标题和链接:

    • 使用 soup.find_all('a') 查找所有 <a> 标签,这些标签通常包含链接和文本。
    • 循环遍历所有找到的 <a> 标签,使用 link.get('href') 获取链接地址,使用 link.text 获取文本内容。
  5. 打印结果:

    • 将提取到的链接和文本打印到控制台。

总结:

通过这段简单的代码,你已经学会了如何使用Python的BeautifulSoup库进行基本的网页抓取。

你可以根据自己的需要修改代码,例如将数据保存到文件或数据库中,或者抓取其他网站的数据。

Python爬虫实战:使用BeautifulSoup库抓取百度首页标题和链接

原文地址: https://www.cveoy.top/t/topic/jvda 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录