python实现可用代理ip筛选并写入文件
以下是一个示例代码,可以实现从一个代理IP列表中筛选出可用的IP并写入一个文件中:
import requests
# 代理IP列表
proxy_list = [
'http://1.1.1.1:8080',
'http://2.2.2.2:8888',
'http://3.3.3.3:8080',
'http://4.4.4.4:8888',
'http://5.5.5.5:8080'
]
# 测试URL
test_url = 'http://www.baidu.com'
# 可用代理IP列表
valid_proxy_list = []
# 循环检测代理IP是否可用
for proxy in proxy_list:
try:
r = requests.get(test_url, proxies={'http': proxy}, timeout=5)
if r.status_code == 200:
valid_proxy_list.append(proxy)
except:
pass
# 将可用代理IP写入文件
with open('valid_proxy_list.txt', 'w') as f:
for proxy in valid_proxy_list:
f.write(proxy + '\n')
在上面的代码中,我们使用requests库对每个代理IP进行测试。如果代理IP可用(即返回状态码为200),则将其添加到可用代理IP列表中。最后,将可用代理IP列表写入文件中。
需要注意的是,由于代理IP的可用性可能随时发生变化,因此建议定期更新代理IP列表,并重新测试其可用性。
原文地址: https://www.cveoy.top/t/topic/bLrd 著作权归作者所有。请勿转载和采集!