别让网站的robots成为最大的安全漏洞
你的网站信息安全吗？一棵树抓住了风。一些公司经常在受到攻击后才考虑网站安全。在网站上注册的个人信息很容易被黑客捕获，给用户造成不可估量的损失。如果没有一个100%安全和完美的系统，黑客们会很乐意研究这些网站的安全漏洞，总有一天它们会被攻破。
网站根目录中的robots.txt文件告诉搜索引擎的访问范围，这很容易使用，但是个人可以访问搜索引擎。许多新来者不知道这个文件的重要性。对于渗透测试人员或黑客来说，敏感信息可以通过robots.txt文件找到，比如猜测后台使用的是什么数据库，这意味着他们的网站实际上是空。
如何阻止他人来访？
有些人在网上这样做:在IIS中，选择机器人。txt，右键单击属性，选择重定向到网址，输入任何网址路径，而不是这个网站，并检查它；上面的确切网址；和:资源的永久重定向；，一个小小的基本童鞋知道，访问http://域名/robots.txt，是自动跳转到指定网址路径的站点。这个方法可以使用。在Apache环境中实现这种重定向。
然而，对于蜘蛛来说，这样的跳转意味着文件不存在于站点中，所以蜘蛛不会遵守这个规则并捕获所有可以找到的网址。
为了防止其他人使用机器人文件来揭示网站的结构和做其他事情，网站管理员正在绞尽脑汁。如果不允许搜索引擎捕获此文档，它将不符合捕获范围，并将被放入索引库中。关于不允许搜索引擎创建索引的方法:页面不允许搜索引擎创建索引。
对于实际的保护措施，建议用通配符(*)替换敏感文件或文件夹
例如，如果一个重要的文件夹是admin，你可以这样写机器人。
用户代理:
不允许:/a*/
这意味着搜索引擎索引根目录下所有以A开头的目录都被禁止。常见网站的常见名称是管理，包括，模板，加等。这些都是重要的文件夹。文件名可以修改，但其他关联可以一起修改，否则系统会出错。
使用。阻止垃圾蜘蛛访问
搜索一首歌曲#并忽略机器人规则
伊苏EasouSpider #无视机器人规则
易于检查#忽略机器人规则
msnmsnBot-媒体
有道
必应僵尸
当然，你也应该看看交通的来源。如果有，不要阻止它。如果每天很少有勤奋的拜访，你可以阻止它。
机器人保护蜘蛛
用户-代理:YisouSpider
不允许:/
用户代理:EasouSpider
不允许:/
用户代理:msnbot-media
不允许:/
用户代理:优道机器人
不允许:/
用户代理:bingbot
不允许:/
。htaccess屏蔽蜘蛛
设置本地用户代理^yisou"；bad_bot
设置本地用户代理^easou"；bad_bot
设置本地用户代理^youdao"；bad_bot
设置本地用户代理^msn"；bad_bot
拒绝自环境=坏_机器人
或者这样写，把它加在中间
重写第二% { HTTP _ USER _ AGENT }(JikeSpider | EasousPider | YisousPider | bing bot | YoudaoBot |)[NC]
原文链接：http://www.sjzseo.net/962.html，转载请注明出处。
评论0