Python爬虫：使用BeautifulSoup解析Android文档并生成JSON数据

本代码使用Python中的requests和BeautifulSoup库爬取Android官方文档，并解析成JSON格式数据。

代码解析

# 引入需要的库
import requests
import json
from bs4 import BeautifulSoup

# 定义一个函数，用于解析节点
def parse_node(node):
    result = {}
    # 判断节点是否具有id属性，如果有则加入到结果字典中
    if node.has_attr('id'):
        result['id'] = node['id']
    # 判断节点是否具有class属性，如果有则加入到结果字典中
    if node.has_attr('class'):
        result['class'] = node['class']
    # 如果节点是a标签，则加入href和text属性到结果字典中
    if node.name == 'a':
        result['href'] = node['href']
        result['text'] = node.text.strip()
    # 如果节点是span或者p标签，则加入text属性到结果字典中
    elif node.name in ('span', 'p'):
        result['text'] = node.text.strip()
    # 如果节点不是a、span或p标签，则继续递归遍历其子节点
    else:
        for child in node.children:
            child_result = parse_node(child)
            if child_result:
                # 如果子节点有结果，则加入到结果字典中
                result.setdefault(child.name, []).append(child_result)
    return result

# 定义要爬取的网页链接
url = 'https://developer.android.google.cn/reference/kotlin/android/app/Application'

# 发送请求并获取响应内容
response = requests.get(url)

# 使用BeautifulSoup库对响应内容进行解析
soup = BeautifulSoup(response.text, 'html.parser')

# 查找指定id属性的节点
root = soup.find('div', {'id': 'android.app.Application'})

# 解析节点，得到结果字典
data = parse_node(root)

# 将结果字典以json格式写入文件
with open('android_app.json', 'w') as f:
    json.dump(data, f, indent=4)

代码说明

1. 引入库： requests用于发送HTTP请求，json用于处理JSON数据，BeautifulSoup用于解析HTML文档。
2. parse_node函数： 该函数用于解析单个HTML节点，并将其属性和文本内容提取到字典中。
3. 设置URL： 这里设置了要爬取的Android官方文档页面URL。
4. 发送请求： 使用requests.get()发送HTTP请求，获取页面内容。
5. 解析HTML： 使用BeautifulSoup解析HTML文档，并找到指定id属性的节点。
6. 解析节点： 使用parse_node函数递归解析节点，并将结果保存到字典data中。
7. 写入JSON文件： 使用json.dump()将data字典以JSON格式写入文件。

使用方法

1. 确保已安装requests和BeautifulSoup库。
2. 复制代码并保存为Python文件（例如：android_parser.py）。
3. 运行代码：python android_parser.py
4. 代码运行完成后，将在当前目录下生成名为android_app.json的JSON文件，其中包含解析后的Android文档数据。

总结

本文介绍了如何使用Python爬取Android官方文档并解析成JSON数据。你可以根据需要修改代码，例如爬取其他页面、提取更多信息等等。希望本文能够帮助你学习Python爬虫和数据处理。