WordPress网站的robots.txt权限设置

       简单的说robots是用于指定spider在您网站上的抓取范围和提交sitemap的。Robots.txt是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎,此网站中的哪些内容是不应被搜索引擎住区,哪些是可以被抓取的。

       其实robots不仅适用于我们百度,同样适用于谷歌,而对于外贸站,大家更多是采用WP建站系统,所以我们就震碎WP网站的robots.txt权限设置给大家进行一下详细讲解,让大家能更详细更清楚的了解到robots文件的重要性。

谷歌robots

       进入我们网站后台,在”All in One SEO”中开启robots功能,然后以上内容放进去上传根目录即可,以下是对WordPress robots.txt文件对应的作用说明,一起来了解一下吧!

1、User-agent: *

允许所有搜索引擎抓取网站,除非你网站有特别针对某个或多个搜索引擎,你可以适当的设置其抓取。

2、Disallow: /wp-admin/用于告诉搜索引擎不要抓取后台程序文件页面。

3、Disallow: /*/comment-page-*和 Disallow: /*?replytocom=*禁止搜索引擎抓取评论分页等相关链接。

5、Disallow: /*/trackback 和 Disallow: /trackback/禁止搜索引擎抓取收录 trackback 等垃圾信息

6、Disallow: /feed、Disallow: /*/feed 和 Disallow: /comments/feed禁止搜索引擎抓取收录 feed 链接,feed 只用于订阅本站,与搜索引擎无关。

7、Disallow: /?s=*和 Disallow: /*/?s=*\\禁止搜索引擎抓取站内搜索结果

8、Disallow: /attachment/禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

9、Disallow: /wp-*.php禁止搜索引擎抓取 WordPress 网站根目录的以 wp 开头的文件。

10、Sitemap: http://yourdomain.com/sitemap.html这个就是为了方便搜索引擎利用的网站地图,具体的根据自己网站需要添加。

       关于wordPress网站的robots.txt权限设置问题就给大家介绍到这里,如果网站有很多内容部分,我们不希望搜索引擎蜘蛛抓取。只要使用robots.txt,告诉搜索引擎抓取工具(蜘蛛),不用抓取到你网站的此类区域即可。这样不仅可以加快我们网站抓取速度,还可以加深蜘蛛对于我们网站的抓取深度。