网站结构优化：SPIDER 爬取规则与权重分配

SPIDER 是搜索引擎中的机器人文件，它会扫描您的网站内容。您可以通过 SPIDER 来控制哪些内容可以被搜索引擎爬取，哪些不可以。SPIDER 会根据您网站内容在服务器上的位置（目录级别）来分配不同的权重，因此，网站的树形结构对权重的收集至关重要。

原文地址: https://www.cveoy.top/t/topic/mG22 著作权归作者所有。请勿转载和采集!