下面的代码有个错误一个dock语句应该要获取dock语句在谷歌浏览器访问到的所有url采集所有url不是采集一条应该怎么改#codingutf-8import requestsimport timeimport osimport urllib3import sysimport randomfrom bs4 import BeautifulSoupfrom concurrentfutures imp
应该将write_info函数里的mode='w'修改成mode='a',这样每次写入都会追加到文件末尾,不会覆盖之前的数据。同时,读取到的dorks也应该使用列表推导式将每个url对应的所有结果都采集到,修改后的work函数应该像下面这样:
def work(dorks): with open(dorks, mode='r', encoding='utf-8') as file: read_content = file.readlines() # 将内容加入列表 content = [result.strip() for result in read_content] # 返回数量丢给任务池 return len(read_content), [query + ' ' + str(page * 100 + 1) for query in content for page in range(3)]
原文地址: https://www.cveoy.top/t/topic/flh5 著作权归作者所有。请勿转载和采集!