把下面的内容换个说法表达并且保证原文内容段落不变：搜索引擎的SPIDER是涉及您网站的机器人文件。其中的内容将确定允许您对网站的哪些内容进行爬网以及不允许对哪些内容进行爬网。对于抓取的内容SPIDER根据其在服务器上的位置相对于目录级别分配不同的权重。因此树形结构对网站权重的收集具有决定性的作用。

SPIDER是搜索引擎中的机器人文件，它会扫描您的网站内容。您可以通过SPIDER来控制哪些内容可以被搜索引擎爬取，哪些不可以。SPIDER会根据您网站内容在服务器上的位置（目录级别）来分配不同的权重，因此，网站的树形结构对权重的收集至关重要。

原文地址: https://www.cveoy.top/t/topic/bfI3 著作权归作者所有。请勿转载和采集!