分析下面代码哪里有不对或者可以优化的地方#codingutf-8import requestsimport timeimport osimport urllib3import sysfrom bs4 import BeautifulSoupfrom concurrentfutures import ThreadPoolExecutorfrom threading import Lockfrom c
- 可以加入参数解析器argparse,提高代码的可读性和易用性。
- 函数google_serach()中的请求头部可以提前定义好,不用每个线程请求都需要重新定义一遍。
- 函数google_serach()中的urllib3.disable_warnings()可以放在代码开头,只需要调用一次即可。
- 函数write_info()中使用了a+模式,每次写入文件都要打开文件,即使文件很大也不会影响性能,但是文件变大后会影响打开文件的速度,可以使用w模式,每次写入文件前都清空文件。
- 变量dork_finish_num和url_num可以用字典代替全局变量,避免出现并发问题。
- 函数google_serach()中捕获了TimeoutError异常,但是没有任何处理,可以考虑重新请求或者进行日志记录。
原文地址: https://www.cveoy.top/t/topic/flgE 著作权归作者所有。请勿转载和采集!