帮我写一个爬取政策数据的爬虫
很高兴为您提供帮助。
以下是一个简单的爬取政策数据的爬虫:
import requests
from bs4 import BeautifulSoup
url = 'https://www.gov.cn/zhengce/zuixin.htm' # 政策网址
response = requests.get(url) # 发送请求
if response.status_code == 200: # 判断是否请求成功
soup = BeautifulSoup(response.text, 'html.parser') # 解析网页
policy_list = soup.select('.news_box .list li') # 获取政策列表
for policy in policy_list:
policy_title = policy.select_one('a').text # 获取政策标题
policy_link = policy.select_one('a')['href'] # 获取政策链接
policy_date = policy.select_one('.time').text # 获取政策日期
print(policy_date, policy_title, policy_link) # 打印政策信息
else:
print('请求失败')
该爬虫使用了 requests 库发送 HTTP 请求,并使用 BeautifulSoup 库解析 HTML 网页。通过选择器获取政策列表、政策标题、政策链接和政策日期,并打印输出。您可以根据实际需要,修改选择器、网址和输出方式等。
原文地址: https://www.cveoy.top/t/topic/8Cr 著作权归作者所有。请勿转载和采集!