Python Scrapy 爬虫类初始化和启动
这段代码只是初始化了爬虫类和设置,并没有真正开始运行爬虫。要开始运行爬虫,可以调用'runner.start()'方法。修改代码如下:
class TestRunner:
settings = get_project_settings()
# settings.set('LOG_ENABLED','False')
runner = CrawlerRunner(settings=settings)
runner.crawl(Test,start_urls=['https://m.runoob.com/python3/'])
d = runner.join()
d.addBoth(lambda _: reactor.stop())
reactor.run()
boolee = settings.get('LOG_ENABLED')
print(boolee)
这样就会开始运行爬虫类,并输出日志是否启用的信息。
原文地址: https://www.cveoy.top/t/topic/qrZy 著作权归作者所有。请勿转载和采集!