Scrapy 全局变量定义与使用教程

在Scrapy中，可以使用'settings.py'文件来定义全局变量。以下是一个示例：

在'settings.py'文件中定义全局变量：

# settings.py

MY_GLOBAL_VARIABLE = 'example'

在Scrapy的Spider类中使用全局变量：

# my_spider.py

from scrapy import Spider
from scrapy.utils.project import get_project_settings

class MySpider(Spider):
    name = 'my_spider'

    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.global_variable = get_project_settings().get('MY_GLOBAL_VARIABLE')

    def start_requests(self):
        # 使用全局变量
        print(self.global_variable)
        ...

在上述示例中，'MY_GLOBAL_VARIABLE'是一个全局变量，在Spider类的'init'方法中通过'get_project_settings().get('MY_GLOBAL_VARIABLE')'获取该全局变量的值，并将其保存在Spider实例的'global_variable'属性中。然后可以在Spider的其他方法中使用该全局变量。