scrapy组成部分

Scrapy框架主要由以下组成部分：

1. 引擎（Engine）：负责控制整个系统的流程，包括调度器、下载器、爬虫和管道等组件的交互工作。

2. 调度器（Scheduler）：负责接收和处理引擎传递过来的请求，将请求加入队列中，并根据设置的优先级和调度策略决定下一步要执行的请求。

3. 下载器（Downloader）：负责下载网络资源，将请求发送给目标网站并获取响应，然后将响应传递给引擎。

4. 爬虫（Spider）：负责解析网页内容，提取需要的信息并将其存储在Item对象中，然后将Item对象传递给管道。

5. 管道（Pipeline）：负责对Item对象进行处理和存储，例如将Item对象存储到数据库中或写入文件等。

6. 中间件（Middleware）：负责处理请求和响应的过程中的各种事件，例如重定向、代理、cookies等。