如何利用301跳转和robot文件来消灭循环错误页面

最近，当我接管优化贷款的网站时，我很头疼。网站结构一团糟。该网站也有JS代码和闪存。此外，面包屑，导航和网址没有调整。网址是一长串动态地址。基本上，我没有看到任何搜索引擎优化，除了写三个标签和301跳。幸运的是，该公司有几名程序员和网站设计师，他们首先删除了JS代码和闪存，并设置了面包屑、导航和架构。然而，当将动态网址转换成伪静态网址时，公司的同事没有注意到并犯了错误，导致大量的伪静态副本类似于一个死循环，非常混乱。这些页面将导致蜘蛛无法爬行，影响其他页面的包含；过多的垃圾页面也会降低用户体验；影响服务器的处理速度等。，危害很大，要及时处理，下面跟大家介绍一下如何清理大量错误的重复翻页方法

然而，由于我们以前遇到过这样的问题，解决起来并不困难。有几种相对简单的方法:

1.使用ROBOTS。用于阻止不存在的网址的文本文件

2.设置找不到记录的网址直接跳出404页

3.使用301将动态页面跳转到正确的静态页面

4.使用nofollow标签来保护错误的页面免受蜘蛛的攻击。

方法1和方法2不适用于当前网站。新的网址出来了，蜘蛛也爬了起来。如果机器人。TXT文件再次被用来阻止一些包含的页面，这是不友好的搜索引擎，将有一定的影响，未来的优化。因此，第一种方法不合适。然而，网站上有大量重复的网址。如果你直接跳出404页，用户体验将会降低。如果404页太多，蜘蛛会不耐烦，所以第二种方法不合适。如果你使用nofollow，就会有很多错误的页面。一个接一个地添加它们太麻烦也不合适。

经过分析，我决定用第三种方法301来跳转，但是仍然有一个问题:301只能在页面代码中，如果有错误的页面，如果直接添加301，就会导致服务器崩溃。所以我计划通过结合301跳跃和机器人分两步解决这个问题。文本文件:

1.我用301先跳。我需要做的第一件事是将包含动态地址的页面跳转到需要更改的静态页面。然后我需要区分伪静态页面和动态页面。我可以向伪静态页面添加一个参数来区分那些动态错误页面和那些动态错误页面，这样它们就可以被直接处理。

2.另一个问题是，即使它们都被转移到伪静态地址，仍然会有许多循环伪静态地址。这时，我将设置机器人。文件来阻止错误的重复页面。

做好之后，使用工具检查页面。错误的页面消失了，网址统一了。

无论是301跳转还是机器人文件，都是非常有用的，特别是机器人文件，它的建立是为了阻止网站的重复页面，保护网站的安全，阻止一些不希望蜘蛛抓取的内容，提交网站地图等。而搜索引擎通常在进入网站时首先抓取机器人文件的内容，这对网站非常重要，而且不太可能在网站上造成很多问题。所以我们通常要在这个层次接触更深一点的东西来丰富我们的搜索引擎优化知识，而不是麻木的每天发送链接和更新文章，所以最后，这是没有什么，只是一个初级的外部链接人员，不会有发展。

最后，我想说有很多方法可以解决这个问题，但是有些方法会留下一些后遗症。妥善处理这个问题可能会带来下一个问题。因此，在优化过程中，应该尽可能干净利落地解决问题。在做SEO时发现问题，也要及时处理。

原文链接：http://www.sjzseo.net/387.html，转载请注明出处。