本栏目分享互联网,程序员的那些事。
大家在分析百度蜘蛛日志的时候经常会发现一个问题,就是百度蜘蛛经常会抓取一些不存在的目录,比如:我网站没有这些目录,但是百度蜘蛛一直在抓取,或者你会发现百度蜘蛛在抓取自己的隐私目录,或者说php文件。下面帝国模板之家小编来给大家总结分析一下原因和解决方法。
可能原因:
1、被对手恶意刷外链,也就是说竞争对手恶意的给你发了很多的不存在的页面链接,当蜘蛛发现之后就会来爬取;
2、以前做的外链,后来由于网站改版而某些链接没有及时的去除,蜘蛛定期回访的时候爬取了这条链接;
3、还有就是购买的域名会出现这样的情况,旧域名之前一定会在搜索引擎留下不同的链接,这种情况类似于第2种问题;
4、robots文件没有对蜘蛛进行限制;
5、这个问题较难发现,因为这是程序引起的,程序引起的情况很少也不容易发现。一般出现这样的情况是因为程序吧百度蜘蛛牵引导黑洞里;
6、url提交或者ping给百度地址有误;
蜘蛛爬取不存在的页面,一般情况下都是由于这些问题导致的,其中最主要的原因就是外链部分,所以我们要经常性的去检查下我们网站的外链情况。
解决方法:
以上的这些问题的解决办法都是较为简单的,我们大致可以分为两种,其一外链导致,其二程序问题。链接导致百度蜘蛛抓取网站不存在路径,我们只需要到百度站长平台使用外链拒绝工具拒绝掉,并提交网站的死链接,同时使用robots屏蔽蜘蛛抓取这些内容。要是程序因素导致百度蜘蛛抓取网站不存在路径,只需要查找程序的问题点,然后修复好程序即可。
今天就介绍到这里,后面会陆续分享这方面的知识。
转载请注明来源:百度蜘蛛抓取不存在目录的解决方法
本文永久链接地址:https://www.moyouyouw.cn/code/756.html
郑重声明:本站所有主题/文章除标明原创外,均来自网络转载,版权归原作者所有,如果有侵犯到您的权益,请联系本站删除,谢谢!我们不承担任何技术及版权问题,且不对任何资源负法律责任。
售价: 399 76 ℃ 0 评论
售价: 399 95 ℃ 0 评论
售价: 399 62 ℃ 0 评论
已有 位小伙伴发表了看法
欢迎 你 发表评论