上述日志是一个Scrapy爬虫程序的调试日志。它提供了以下信息:

  • 2023-07-08 17:06:02:记录了时间戳,表示日志的生成时间。
  • [fbs] DEBUG:表示日志的级别为DEBUG,这是最低级别的调试信息。
  • Read 1 requests from 'poem':表示从名为'poem'的请求中读取了1个请求。
  • 2023-07-08 17:06:03:记录了时间戳,表示发送了一个HTTP请求。
  • [scrapy.core.engine] DEBUG:表示日志的级别为DEBUG。
  • Crawled (200) <GET https://www.shicimingju.com/paiming> (referer: None):表示成功爬取了一个网页,状态码为200,URL为https://www.shicimingju.com/paiming,没有来源(referer为None)。
  • [scrapy_redis.dupefilter] DEBUG:表示日志的级别为DEBUG。
  • Filtered duplicate request <GET https://www.shicimingju.com/paiming?p=2> - no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates):表示过滤了一个重复的请求,URL为https://www.shicimingju.com/paiming?p=2,不再显示更多重复项。
  • [scrapy.extensions.logstats] INFO:表示日志的级别为INFO,提供一些有用的统计信息。
  • Crawled 1 pages (at 1 pages/min), scraped 0 items (at 0 items/min):表示已爬取了1个页面,每分钟爬取1个页面,还没有提取到任何数据。

最后一行的内容是不完整的,无法确定其具体含义

2023-07-08 170602 fbs DEBUG Read 1 requests from poem2023-07-08 170603 scrapycoreengine DEBUG Crawled 200 GET httpswwwshicimingjucompaiming referer None2023-07-08 170604 scrapy_redisdupefilter DEBUG F

原文地址: http://www.cveoy.top/t/topic/hSB1 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录