Scrapy 如何设置多个回调函数处理不同数据和链接

Scrapy 中设置多个回调函数

在 Scrapy 爬虫框架中，您可以设置多个回调函数来处理不同的数据和链接。每个回调函数对应一个特定的页面或数据类型，从而实现更精细的网页数据提取。

示例代码：

import scrapy

class MySpider(scrapy.Spider):
    name = "multicallback_spider"

    def start_requests(self):
        # 起始链接
        start_urls = [
            'http://www.example.com/page1',
            'http://www.example.com/page2',
            # 添加更多的起始链接
        ]

        for url in start_urls:
            yield scrapy.Request(url=url, callback=self.parse_page1)

    def parse_page1(self, response):
        # 解析 page1 的响应

        # 提取链接并发送到其他回调函数处理
        links = response.css('a::attr(href)').getall()
        for link in links:
            yield response.follow(link, callback=self.parse_link)

    def parse_link(self, response):
        # 解析链接的响应

        # 处理链接的数据
        pass

代码解析：

• start_requests 方法定义起始链接，并为每个链接指定回调函数 parse_page1。
• parse_page1 函数解析 page1 的响应，提取链接并使用 response.follow 方法将链接发送到 parse_link 回调函数进行处理。
• parse_link 函数解析链接的响应并处理数据。

总结：

通过设置多个回调函数，您可以根据页面类型或数据结构对网页数据进行更精准的抓取和处理。在实际应用中，您可以根据需求自定义回调函数的命名和逻辑，并结合其他 Scrapy 功能实现更复杂的爬虫任务。