Python爬取翻页网页数据并保存为CSV文件

由于无法直接访问该网页，以下是一个示例代码，可以根据实际情况进行修改：

import pandas as pd

url = 'http://202.127.42.47:6006/home/bigdataindex'
dfs = []
page = 1
while True:
    # 模拟翻页
    params = {'pageIndex': page, 'pageSize': 20}
    r = pd.read_html(url, header=0, params=params)
    if len(r) == 0:
        break
    dfs.append(r[0])
    page += 1

df = pd.concat(dfs, axis=0)
df.to_csv('bigdataindex.csv', index=False)

这个代码会从第一页开始，不断模拟翻页操作，将每一页的数据读取到 DataFrame 中，并保存到一个列表中。当请求到的数据为空时，说明已经读取完所有页面，此时将所有 DataFrame 拼接起来，然后将结果保存到 CSV 文件中。注意，这里需要指定 index=False，否则会将行号保存到 CSV 文件中。