一个可行的自动更换代理的爬虫系统应该不具备哪些功能A 有一个小爬虫ProxySpider去各大代理网站爬取免费代理并验证将可以使用的代理IP保存到数据库中B 在发现某个请求已经被设置过代理后什么也不做直接返回C 在ProxyMiddlerware的process_request中每次从数据库里面随机选择一条代理IP地址使用D 周期性验证数据库中的无效代理及时将其删除

B 在发现某个请求已经被设置过代理后，什么也不做，直接返回，这样的话就无法实现自动更换代理的功能。正确的做法应该是在发现请求已经被设置代理后，将该代理从代理池中移除，然后重新从代理池中选择一个新的代理。

原文地址: https://www.cveoy.top/t/topic/gfQF 著作权归作者所有。请勿转载和采集!