Python 抓取快代理网站免费 IP 地址
Python 抓取快代理网站免费 IP 地址
本文提供 Python 代码,使用 requests 和 BeautifulSoup 库抓取快代理网站免费 IP 地址,并将其保存到 CSV 文件。
import requests
from bs4 import BeautifulSoup
url = 'https://www.kuaidaili.com/free/inha/{}/' # 快代理网站地址
data = requests.get(url) # 发送 GET 请求
html = data.content.decode('utf-8') # 获取网页内容
soup = BeautifulSoup(html, 'lxml') # 使用 BeautifulSoup 解析网页
details = soup.find('tbody').find_all('tr') # 找到表格中的所有行
# 循环遍历每一行,提取信息
for detail in details:
ip = detail.find_all('td')[0].string
port = detail.find_all('td')[1].string
nimingdu = detail.find_all('td')[2].string
type = detail.find_all('td')[3].string
position = detail.find_all('td')[4].string
speed = detail.find_all('td')[5].string
time = detail.find_all('td')[6].string
# 将信息存储到字典中
infos = {}
infos['ip'] = ip
infos['port'] = port
infos['nimingdu'] = nimingdu
infos['type'] = type
infos['position'] = position
infos['speed'] = speed
infos['time'] = time
# 将信息写入 CSV 文件
with open('ip.csv', 'a', encoding='utf-8') as f:
f.write(f'{infos['ip']},{infos['port']},{infos['nimingdu']},{infos['type']},{infos['position']},{infos['speed']},{infos['time']}
')
代码解释:
- 导入
requests和BeautifulSoup库 - 定义快代理网站的 URL
- 使用
requests.get()发送 GET 请求 - 使用
BeautifulSoup解析网页内容 - 找到表格中的所有行
- 循环遍历每一行,提取 IP 地址、端口、匿名度、类型、位置、速度和时间信息
- 将信息存储到字典中
- 将信息写入 CSV 文件
运行代码:
- 确保已经安装
requests和BeautifulSoup库:
pip install requests beautifulsoup4
-
将代码保存到 Python 文件中,例如
ip_scraper.py -
运行代码:
python ip_scraper.py
代码会自动抓取快代理网站的免费 IP 地址,并将其保存到 ip.csv 文件中。
注意:
- 代码可能需要修改才能适应快代理网站的页面变化
- 请注意使用 IP 地址的合法性,不要进行任何违法活动
原文地址: https://www.cveoy.top/t/topic/SGO 著作权归作者所有。请勿转载和采集!