网站使用 robots.txt 中常见的误区

2021年2月1日
评论
67
摘要

大家都知道网站可以使用 robots.txt 来控制蜘蛛的抓取,其实我们在使用过程中会有很多误区,本文将列举几个常见的robots.txt使用误区。

大家都知道网站可以使用 robots.txt 来控制蜘蛛的抓取,其实我们在使用过程中会有很多误区:

今天列举一下常见的robots.txt实际使用中的误区:

误区1.Allow包含的范围超过Disallow,并且位置在Disallow前面。

比如有很多人这样写:

User-agent: *
Allow: /
Disallow: /mulu/

想让所有蜘蛛抓取本站除/mulu/下面的url之外的所有页面,禁止抓取/mulu/下面的所有url。

搜索引擎蜘蛛执行的规则是从上到下,这样会造成第二句命令失效。也就是说禁止抓取/mulu/目录这条规则是无效的。正确的是Disallow应该在Allow之上,这样才会生效。

误区2.Disallow命令和Allow命令之后没有以斜杠”/”开头。

这个也很容易被忽视,比如有人这样写Disallow: 123.html ,这种是没有效果的。斜杠”/”表示的是文件对于根目录的位置,如果不带的话,自然无法判断url是哪个,所以是错误的。

正确的应该是Disallow: /123.html,这样才能屏蔽/123.html这个文件,这条规则才能生效。

误区3.屏蔽的目录后没有带斜杠”/”。

也就是比如想屏蔽抓取/mulu/这个目录,有些人这样写Disallow: /mulu。那么这样是否正确呢?

首先这样写(Disallow: /mulu)确实可以屏蔽/mulu/下面的所有url,不过同时也屏蔽了类似/mulu123.html这种开头为/mulu的所有页面,效果等同于Disallow: /mulu*。

正确的做法是,如果只想屏蔽目录,那么必须在结尾带上斜杠”/”。

暂时先写这几条,以后遇到了其他的随时补充

  • 本文由 发表于 2021年2月1日
  • 转载请务必保留本文链接:https://www.3cinfo.net/website/website-maintain/1905.html
SEO是一件需要长期坚持的事 网站优化

SEO是一件需要长期坚持的事

seo应该算的上是一件需要持之以恒的事情了,很多人都是那几天的热情,完了就慢慢的对自己的网站干旱冷淡了,文章也不更新了,外链也不做了,最后排名也就掉了。
如何解决SEO优化排名下降的情况 网站优化

如何解决SEO优化排名下降的情况

在SEO行业中,经常会遇到,SEO优化排名下降的情况,主要可能是以下几方面导致的SEO优化排名下降:关键词堆叠太多;网站内链太多;HTML标签过度使用;锚文本的过度使用。
企业做GoogleSEO如何用内链优化来提高排名 网站优化

企业做GoogleSEO如何用内链优化来提高排名

内链优化是Google SEO中的重中之重,合理的使用,可以让我们在短期内,快速的完成企业预期目标。在企业做Google SEO的过程中,我们每天听到最多的一句话就是谷歌外链建设的问题,而在实际的过程中,80%以上的SEO人员,经常会忽略网站的内链优化。而内链确是我们在做相关性排名,快速提高排名的一...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: