scrapy process_request里获取settings里的属性
在Scrapy的process_request方法中,可以通过spider.settings来获取settings中的属性。以下是一个示例:
import scrapy
class MySpider(scrapy.Spider):
name = "myspider"
def start_requests(self):
# 发起请求
yield scrapy.Request(url="http://example.com", callback=self.parse)
def parse(self, response):
# 解析响应
pass
def process_request(self, request, spider):
# 获取settings中的属性
my_setting = spider.settings.get("MY_SETTING")
if my_setting:
# 在请求头中添加自定义的属性
request.headers["My-Setting"] = my_setting
在上面的示例中,process_request方法通过spider.settings.get("MY_SETTING")获取了settings中名为MY_SETTING的属性,并将其添加到请求头中
原文地址: http://www.cveoy.top/t/topic/irnb 著作权归作者所有。请勿转载和采集!