网站使用 robots.txt 中常见的误区

2021年2月1日网站优化评论71阅读模式
摘要

大家都知道网站可以使用 robots.txt 来控制蜘蛛的抓取,其实我们在使用过程中会有很多误区,本文将列举几个常见的robots.txt使用误区。

大家都知道网站可以使用 robots.txt 来控制蜘蛛的抓取,其实我们在使用过程中会有很多误区:

今天列举一下常见的robots.txt实际使用中的误区:

误区1.Allow包含的范围超过Disallow,并且位置在Disallow前面。

比如有很多人这样写:

User-agent: *
Allow: /
Disallow: /mulu/

想让所有蜘蛛抓取本站除/mulu/下面的url之外的所有页面,禁止抓取/mulu/下面的所有url。

搜索引擎蜘蛛执行的规则是从上到下,这样会造成第二句命令失效。也就是说禁止抓取/mulu/目录这条规则是无效的。正确的是Disallow应该在Allow之上,这样才会生效。

误区2.Disallow命令和Allow命令之后没有以斜杠”/”开头。

这个也很容易被忽视,比如有人这样写Disallow: 123.html ,这种是没有效果的。斜杠”/”表示的是文件对于根目录的位置,如果不带的话,自然无法判断url是哪个,所以是错误的。

正确的应该是Disallow: /123.html,这样才能屏蔽/123.html这个文件,这条规则才能生效。

误区3.屏蔽的目录后没有带斜杠”/”。

也就是比如想屏蔽抓取/mulu/这个目录,有些人这样写Disallow: /mulu。那么这样是否正确呢?

首先这样写(Disallow: /mulu)确实可以屏蔽/mulu/下面的所有url,不过同时也屏蔽了类似/mulu123.html这种开头为/mulu的所有页面,效果等同于Disallow: /mulu*。

正确的做法是,如果只想屏蔽目录,那么必须在结尾带上斜杠”/”。

暂时先写这几条,以后遇到了其他的随时补充

  • 本文由 发表于 2021年2月1日
  • 转载请务必保留本文链接:https://www.3cinfo.net/website/website-maintain/1905.html
本地引文(NAP) 是 Google 排名因素吗? 网站运维

本地引文(NAP) 是 Google 排名因素吗?

在本地SEO中,引用是指在网络上的其他任何地方提及关键业务信息——您的姓名,地址和电话号码 (NAP) 。本地引文 (NAP) 可能出现在目录、社交网络或评论网站、应用程序以及各种其他网站上。引文可帮助当地消费者取得联系或找到前往您商店的途径。但是这些引文能帮助你获得更高的排名吗?你也许可以在本文中...
引文和本地SEO:终极初学者指南 网站运维

引文和本地SEO:终极初学者指南

引文是对具有企业名称、地址和电话号码 ( NAP ) 的企业的在线参考。引文是本地搜索的关键排名因素,即引文是本地SEO的关键因素之一。如果设置正确,引文可以非常容易管理,并且可以提高本地排名;但是,如果操作不正确,引用可能是清理的噩梦。在本指南中,将引导您完成引文的各个方面,以帮助您改进本地SEO...
导致网站搜索排名和流量下降的 18 个 SEO 问题 网站运维

导致网站搜索排名和流量下降的 18 个 SEO 问题

网站的搜索排名和流量下降的原因可能会有很多,从技术现场问题到站外SEO。有时,导致您的搜索排名和流量下降的因素可能很难检测到,可能是Google算法的更改、技术错误、您的服务器未正确处理带宽,或者在突然不再发送流量之前发送流量的链接。在本专栏中,我们将扩展该主题并深入挖掘您可能遇到这些问题的更多原因...
导致你网站流量下降的 22 个可能原因 网站运维

导致你网站流量下降的 22 个可能原因

您的网站是在流失流量还是排名直线下降?无论您是数字营销人员、SEO 专业人士、网站管理员还是其他利益相关者,您都有责任调查问题并找出如何让事情重回正轨。如果您的流量下降并且您需要解决方案,这里有 22 个地方可以开始查看,以下是您的搜索排名和流量下降的 22 个可能原因。
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: