利用Python的pandas从网页http20212742476006homebigdataindex下载数据网页表格有8列130513行每一页有20行共6526行以csv文件保存
以下是Python代码:
import pandas as pd
# 定义网页地址和每页行数
url = 'http://202.127.42.47:6006/home/bigdataindex'
rows_per_page = 20
# 读取所有数据并保存为csv文件
df_list = []
for i in range(1, 6527):
page_url = url + '?page=' + str(i)
df = pd.read_html(page_url)[0]
df_list.append(df)
df_all = pd.concat(df_list)
df_all.to_csv('data.csv', index=False)
首先,我们定义了网页地址和每页行数。然后,我们使用循环逐页读取数据,并将每页数据添加到一个数据框列表中。最后,我们使用pd.concat函数将所有数据框合并为一个数据框,并将其保存为csv文件。注意,我们在保存csv文件时将index参数设为False,以避免保存行索引。
原文地址: http://www.cveoy.top/t/topic/daqF 著作权归作者所有。请勿转载和采集!