scrapy项目结构

Scrapy项目的基本结构如下：

project_name/
    scrapy.cfg
    project_name/
        __init__.py
        items.py
        middlewares.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            spider1.py
            spider2.py
            ...

其中，scrapy.cfg是Scrapy项目的配置文件，project_name是项目的名称，items.py定义了数据模型，middlewares.py定义了中间件，pipelines.py定义了数据处理管道，settings.py定义了项目的配置信息，spiders目录下则是各个爬虫的代码文件。