合作抓取接口交互流程描述
合作抓取接口交互流程描述:
-
合作方向数据提供方提交抓取申请,包括需要抓取的数据类型、抓取频率、目标网站等信息。
-
数据提供方审核申请,确认申请合法并分配一个唯一的抓取任务ID。
-
数据提供方向合作方提供抓取任务ID和抓取接口地址。
-
合作方通过抓取接口提交抓取请求,包括抓取任务ID、目标网站地址、抓取参数等信息。
-
数据提供方接收到抓取请求后,根据抓取任务ID和目标网站地址,判断该请求是否合法。
-
如果合法,数据提供方开始抓取数据,并将抓取结果返回给合作方。
-
合作方接收到抓取结果后,进行数据处理和存储等操作。
-
如果抓取任务完成,合作方向数据提供方发起任务完成通知请求。
-
数据提供方接收到任务完成通知请求后,更新任务状态并返回确认消息。
-
合作方接收到确认消息后,确认任务完成。
原文地址: http://www.cveoy.top/t/topic/eP5H 著作权归作者所有。请勿转载和采集!