Web.ignoreurls 配置选项：如何忽略网站爬虫中的特定 URL 模式

"web.ignoreurls" 是一个配置选项，用于指定要在网络爬虫中忽略的 URL 模式。\n\n在网络爬虫中，有时候我们不希望爬取某些特定的 URL，比如登录页面、广告页面、404 页面等。使用 "web.ignoreurls" 可以将这些 URL 模式添加到爬虫的忽略列表中，从而在爬取过程中跳过这些 URL。\n\n例如，我们可以设置 "web.ignoreurls" 的值为 "["login", "ad", "404"]"，那么在爬取过程中，所有包含 "/login"、"/ad"、"/404" 的 URL 都会被忽略，不会被爬取。\n\n这个功能可以帮助我们提高爬取效率，避免爬取到无用的页面，节省网络资源和爬取时间。