彻底屏蔽已收录的不需要的二级域名有效方法

在我面前，我写了一篇关于如何删除我不想被收录的域名或页面的百度快照的文章。然而，由于百度的延迟，我想先用机器人来阻止他们。搜索引擎优化博客最初被用作没有www的主域，但现在www的域名被用作主域。数百个原始域名已经被包括在内。我不知道删除这些快照需要多长时间。提醒大家在过程中尽最大努力减少主域的变化。为了减少排名的影响，你必须阅读这篇文章。

以下修改方法仅适用于使用。htaccess解析子目录的虚拟主机中的辅助域名，不适合IIS。有关其他方法，请参阅文章

该网站域名sjzseo.com，分析了www.sjzseo.net、zhan.sjzseo.com两个二级域名(www.sjzseo.net其实属于二级域名)

在此期间，二级域名如m.sjzseo.com和shop.sjzseo.com也被分析。这些域名已停止使用，间隔空已过期。然而，互联网上仍然有快照，不能被机器人阻止。

(在2016年6月9日更新此帖子)

提交人在2016年5月中旬做了以下手术。此外，其他非主要域名此前也因保护而被关闭。目前，所有非主要域名的内容已经成功转移到www.sjzseo.net。当然，搜索引擎落后了，每个地区所需的时间也不相等。

一种完全屏蔽不必要二级域名的方法
1.将不必要的二级域名分配给不同的空用于机器人筛选。由于二级域名解析已被取消，当然，这是不推荐的。欢迎土豪。

2.使用。非主域名的htaccess to access robots.txt实际上是访问robots.txt(此文件屏蔽蜘蛛爬行)。以王湾的阿帕奇平台为例，sjzseo.com域名在全站301中跳到了www.sjzseo.net。机器人被用来完全阻挡蜘蛛抓取，这已经被重庆搜索引擎优化成功测试。

Txt的内容如下

用户-代理:*
不允许:/
。htaccess如下所示

重写引擎打开
重写第二个% { http _ host } ^www.sjzseo.net[NC]
重写者^robots.txt
重写第二%{REQUEST_FILENAME}！robots.txt
重写者^(.*)http://sjzseo.com/$1[R = 301，L]
第四行表示只有当请求名不是robots.txt时，才会执行下面的301跳转，以避免第三个规则被覆盖。上述规则放在前面，以避免与原来的301规则冲突。以下是已成功测试的完整代码:

重写引擎打开
重写第二个% { http _ host } ^www.sjzseo.net[NC]
重写者^robots.txt
#以下规则已经存在:
& ltIfModule mod _ rewrite.c
重写引擎打开
重写第二%{HTTP_HOST}！^www.sjzseo.net [NC]
重写者^(.*)$ http://www.sjzseo.net/$1[左，右=301]
& lt/IfModule。
效果测试访问:http://www.sjzseo.net/robots.txt和http://sjzseo.com/robots.txt?的结果不同吗

当然，这种方法对于将辅助域名解析到辅助目录也是可行的。有关方法，请参考文章“王湾使用。htaccess可以完美地将子域跳转到子目录。由于网址已被改写，将二级目录下的robots.txt重命名为wrobost.txt(蜘蛛只访问robots.txt文件)，否则将提示404错误。参观:http://zhan.sjzseo.com/robots.txt

二级域名解析为二级目录，不需要的域名被阻止。htaccess的完整代码如下

重写引擎打开
重写第二%{HTTP_HOST}！^www.sjzseo.net [NC]
重写者^robots.txt
重写者^index\.$ http://www.sjzseo.net/[R = 301，L]
#标记伪静态规则
重写者^tags.html$
重写者^tags/(.*)。html$ /tags.php？/$1/
#辅助域名解析到辅助目录
& ltIfModule mod _ rewrite.c
重写引擎打开
重写基/
重写第二个%{HTTP_HOST} ^zhan\.sjzseo\。[北卡罗来纳州]
重写第二% {请求_URI}！^/zhan/
重写者^(.*)$ zhan/$1？重写[QSA]
& lt/IfModule。
#不带www域名301转带www域名
& ltIfModule mod _ rewrite.c
重写引擎打开
重写第二%{HTTP_HOST}！^www.sjzseo.net [NC]
重写者^(.*)$ http://www.sjzseo.net/$1[左，右=301]
& lt/IfModule。
3.如果需要屏蔽二级目录(如:/about)但可以抓取*。html文件，直接在robots.txt中编写