在Scrapy的process_request方法中,可以通过spider.settings来获取settings中的属性。以下是一个示例:

import scrapy

class MySpider(scrapy.Spider):
    name = "myspider"
    
    def start_requests(self):
        # 发起请求
        yield scrapy.Request(url="http://example.com", callback=self.parse)
    
    def parse(self, response):
        # 解析响应
        pass
    
    def process_request(self, request, spider):
        # 获取settings中的属性
        my_setting = spider.settings.get("MY_SETTING")
        if my_setting:
            # 在请求头中添加自定义的属性
            request.headers["My-Setting"] = my_setting

在上面的示例中,process_request方法通过spider.settings.get("MY_SETTING")获取了settings中名为MY_SETTING的属性,并将其添加到请求头中

scrapy process_request里获取settings里的属性

原文地址: http://www.cveoy.top/t/topic/irnb 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录