网站制作公司尚品中国(www.sino-web.net):误区1.Allow包括的范围超越Disallow,并且位置在Disallow后面。
比如有很多人这样写:
User-agent: *
Allow: /
Disallow: /mulu/
想让一切蜘蛛抓取本站除/mulu/下面的url之外的一切页面,克制抓取/mulu/下面的一切url。
SEO网站优化搜索引擎蜘蛛履行的划定规矩是从上到下,这样会组成第二句敕令生效。也就是说克制抓取/mulu/目次这条划定规矩是有用的。准确的是Disallow应该在Allow之上,这样才会生效。
误区2.Disallow敕令和Allow敕令以后没有以斜杠”/”开首。
这个也很苟且被忽视,
品牌网站改版,比如有人这样写Disallow: 123.html ,这类是没有结果的。斜杠”/”默示的是文件关于根目次的位置,如果不带的话,自然没法判断url是哪个,以是是毛病的。
准确的应该是Disallow: /123.html,这样才能屏障/123.html这个文件,这条划定规矩才能生效。
误区3.屏障的目次后没有带斜杠”/”。
也就是比如想屏障抓取/mulu/这个目次,有些人这样写Disallow: /mulu。那末这样是否是准确呢?
首先这样写(Disallow: /mulu)确实可以梗概屏障/mulu/下面的一切url,不过同时也屏障了相似/mulu123.html这类开首为/mulu的一切页面,结果等同于Disallow: /mulu*。
准确的做法是,如果只想屏障目次,那末必需在开首带上斜杠”/”。
本文发布于北京网站制作公司尚品中国http://www.sino-web.net/
免责声明:本文内容由互联网用户自发贡献自行上传,本网站也不承担相关的法律责任。如果您发现本文章中有涉嫌抄袭的内容,请发送邮件至:sales@sznetsoft.com或者至电给本网站进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权的内容。