Python 抓取长沙市省道交通拥堵数据
本脚本使用Python的requests和BeautifulSoup库,从中国交通信息中心(http://www.jtis.cn/)抓取长沙市省道交通拥堵情况数据,并将数据保存为CSV文件。
代码如下:
import requests
from bs4 import BeautifulSoup
import csv
url = 'http://www.jtis.cn/trafficindex/trafficIndexInner.jsp'
params = {
'province': '湖南省',
'city': '长沙市',
'roadtype': '省道'
}
response = requests.get(url, params=params)
soup = BeautifulSoup(response.text, 'html.parser')
table = soup.find('table', {'class': 'table'})
rows = table.find_all('tr')
data = []
for row in rows:
cols = row.find_all('td')
cols = [col.text.strip() for col in cols]
data.append(cols)
with open('traffic.csv', 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
writer.writerows(data)
print('数据已保存为traffic.csv文件')
说明:
- 首先,我们指定了要抓取的URL和查询参数,即湖南省、长沙市、省道。
- 然后,我们使用requests库发送GET请求获取页面内容,并使用BeautifulSoup库解析页面HTML。
- 我们找到了页面中包含交通拥堵情况的表格,提取了其中的数据,并将其保存为二维列表。
- 最后,我们使用csv库将数据保存为CSV文件,文件名为traffic.csv。
运行脚本后,就可以看到traffic.csv文件已经生成,里面包含了长沙市省道交通拥堵情况的数据。
原文地址: https://www.cveoy.top/t/topic/nLFf 著作权归作者所有。请勿转载和采集!