wordpress robots.txt文件怎么写

无论什么cms robots文件都是重要的，用来告诉搜索引擎网站那些文件是可抓取，哪些是禁止抓取的，如果不设置这个文件就会出现很多后台文件或者数据库文件被抓取，不仅浪费抓取资源，对搜索引擎也不友好，那么robots文件该怎么设置呢？

对于wordpress来说，文章在数据库里面存着，显示单篇文章的时候会先从数据库查询出来这篇文章的数据，再套到模版（single.php）中，最终生成你看到的文章页面，并不是以文件的形式存储的，所以根目录文件夹可以屏蔽掉。

下面是一个网友的robots案例，大家可以参考

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/
————————————————

wordpress robots.txt文件怎么写？大家可以根据上面的删除不要的，然后上传到网站根目录，然后去百度站长平台，进行检测，如下图，js文件百度蜘蛛将不再抓取。以上是唐山seo为您提供的解答。更多seo相关问题，可以关注好问网络。

原文链接：http://www.sjzseo.net/60.html，转载请注明出处。