这段代码只是初始化了爬虫类和设置,并没有真正开始运行爬虫。要开始运行爬虫,可以调用'runner.start()'方法。修改代码如下:

class TestRunner:
    settings = get_project_settings()
    # settings.set('LOG_ENABLED','False')
    runner = CrawlerRunner(settings=settings)
    runner.crawl(Test,start_urls=['https://m.runoob.com/python3/'])
    d = runner.join()
    d.addBoth(lambda _: reactor.stop())
    reactor.run()
    boolee = settings.get('LOG_ENABLED')
    print(boolee)

这样就会开始运行爬虫类,并输出日志是否启用的信息。

Python Scrapy 爬虫类初始化和启动

原文地址: https://www.cveoy.top/t/topic/qrZy 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录