Scrapy的项目结构如下:

myproject/
    scrapy.cfg            # 配置文件
    myproject/            # 项目代码目录
        __init__.py
        items.py          # 定义数据模型
        middlewares.py    # 定义中间件
        pipelines.py      # 定义管道
        settings.py       # 项目配置文件
        spiders/          # 爬虫目录
            __init__.py
            myspider.py   # 爬虫代码

其中,scrapy.cfg是Scrapy项目的配置文件,myproject是项目的代码目录,items.py定义了数据模型,middlewares.py定义了中间件,pipelines.py定义了管道,settings.py是项目的配置文件,spiders是爬虫目录,myspider.py是爬虫代码。


原文地址: https://www.cveoy.top/t/topic/b8wj 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录