Python BeautifulSoup 解析网页结构代码示例

以下是一个 Python 的示例代码，使用 BeautifulSoup 库解析网页结构：

from bs4 import BeautifulSoup
import requests

url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 获取网页标题
title = soup.title.string
print(f'Title: {title}')

# 获取所有链接
links = soup.find_all('a')
for link in links:
    print(link.get('href'))

# 获取所有段落文本
paragraphs = soup.find_all('p')
for paragraph in paragraphs:
    print(paragraph.text)

# 获取特定ID的元素
element = soup.find('div', {'id': 'my-div'})
print(element.text)

该代码首先使用 requests 库获取网页内容，然后使用 BeautifulSoup 库解析 HTML 文档。通过查找特定标签，如标题、链接和段落等，可以获取网页结构中的各个元素。可以通过传递标签和属性的字典来查找特定的元素，例如查找 ID 为 'my-div' 的 div 元素。