迅睿CMS的robotstxt 怎么写

以下是迅睿CMS的基本robots.txt写法：

User-agent: * Disallow: /admin/ Disallow: /data/ Disallow: /include/ Disallow: /install/ Disallow: /template/ Disallow: /upload/ Disallow: /wap/

上面的代码表示，不允许搜索引擎抓取网站的/admin/、/data/、/include/、/install/、/template/、/upload/、/wap/等目录下的页面和文件。

如果您想允许搜索引擎抓取某些目录或页面，可以在Disallow后面添加允许抓取的目录或页面，例如：

User-agent: * Disallow: /admin/ Disallow: /data/ Disallow: /include/ Disallow: /install/ Disallow: /template/ Disallow: /upload/ Disallow: /wap/

User-agent: Googlebot Disallow:

User-agent: Baiduspider Disallow:

Disallow: /member