大家都晓得或许是“百度有啊”上线之前，淘宝网为了避免百度歹意抓取，直接屏障了百度蜘蛛，也就是那时闹得沸沸扬扬的robots.txt协定 。
就算是今朝翻开淘宝的robots.txt协定，依然能够看到淘宝还在屏障百度的蜘蛛。
但是实际上真的如斯么
实际证实淘宝的robots.txt文件底子对百度蜘蛛起不到任何感导。
小弟猜度百度之以是这么做是因为百度斟酌到计谋偏向的题目，因为查询了一下发明一些着名店肆在百度的排名都很不错。足以证实百度对淘宝这类店肆的重要性。越发戏曲化的是天猫网(淘宝商城)也是应用robots.txt协定的。一样屏障了百度蜘蛛。
另有一种能够就是淘宝网和天猫网的权重太高了，招致了百度蜘蛛不遵照搜刮引擎协定而停滞的抓取。不外对这类事情能够遐想到前些日子，一淘网歹意抓取京东商城和新蛋网等的商品数据，也是不遵照搜刮引擎划定规矩的。
直到今朝京东商城等也在屏障一淘网的蜘蛛，
小编想说的是今朝的搜刮引擎为了本身长处而不遵照互联网协定的划定规矩，高端网站改版，是值得反思的，号令这类互联网大公司能在全部IT行业建立标榜。
免责声明：本文内容由互联网用户自发贡献自行上传，本网站也不承担相关的法律责任。如果您发现本文章中有涉嫌抄袭的内容，请发送邮件至：sales@sznetsoft.com或者至电给本网站进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权的内容。