Scrapy-Splash框架中SplashRequest是否经过下载中间件处理?
是的,Scrapy-Splash框架中的SplashRequest会经过Scrapy本身的下载中间件处理。SplashRequest是对Scrapy中的Request对象的封装,它会将请求发送给Splash服务器进行渲染,并将渲染后的结果返回给Scrapy进行处理。在发送请求之前,Scrapy会先调用自己的下载中间件对SplashRequest进行处理,例如设置请求头、处理代理、处理Cookies等。然后,SplashRequest会被发送到Splash服务器进行渲染。渲染完成后,Scrapy会再次调用自己的下载中间件对渲染结果进行处理,然后将处理后的结果传递给Spider进行解析。这样,Scrapy的下载中间件可以在SplashRequest的发送前后对请求和响应进行操作,以实现一些自定义的功能。
原文地址: https://www.cveoy.top/t/topic/p8g5 著作权归作者所有。请勿转载和采集!