迅睿CMS robots.txt 编写指南：如何控制搜索引擎抓取
以下是迅睿CMS 基本的 robots.txt 写法：
User-agent: * Disallow: /admin/ Disallow: /data/ Disallow: /include/ Disallow: /install/ Disallow: /template/ Disallow: /upload/ Disallow: /wap/
上面的代码表示，不允许搜索引擎抓取网站的'/admin/'、'/data/'、'/include/'、'/install/'、'/template/'、'/upload/'、'/wap/' 等目录下的页面和文件。
如果您想允许搜索引擎抓取某些目录或页面，可以在 Disallow 后面添加允许抓取的目录或页面，例如：
User-agent: * Disallow: /admin/ Disallow: /data/ Disallow: /include/ Disallow: /install/ Disallow: /template/ Disallow: /upload/ Disallow: /wap/
User-agent: Googlebot Disallow:
User-agent: Baiduspider Disallow:
Disallow: /member/
原文地址: https://www.cveoy.top/t/topic/oXpZ 著作权归作者所有。请勿转载和采集!