帝国模板之家为广大用户提供专业、一站式建站服务。

杂谈

本栏目分享互联网,程序员的那些事。

当前位置:首页 > 杂谈 > 正文

百度蜘蛛抓取不存在目录的解决方法

帝国模板之家 2020-11-17 杂谈 评论

大家在分析百度蜘蛛日志的时候经常会发现一个问题,就是百度蜘蛛经常会抓取一些不存在的目录,比如:我网站没有这些目录,但是百度蜘蛛一直在抓取,或者你会发现百度蜘蛛在抓取自己的隐私目录,或者说php文件。下面帝国模板之家小编来给大家总结分析一下原因和解决方法。

可能原因:

1、被对手恶意刷外链,也就是说竞争对手恶意的给你发了很多的不存在的页面链接,当蜘蛛发现之后就会来爬取;

2、以前做的外链,后来由于网站改版而某些链接没有及时的去除,蜘蛛定期回访的时候爬取了这条链接;

3、还有就是购买的域名会出现这样的情况,旧域名之前一定会在搜索引擎留下不同的链接,这种情况类似于第2种问题;

4、robots文件没有对蜘蛛进行限制;

5、这个问题较难发现,因为这是程序引起的,程序引起的情况很少也不容易发现。一般出现这样的情况是因为程序吧百度蜘蛛牵引导黑洞里;

6、url提交或者ping给百度地址有误;

蜘蛛爬取不存在的页面,一般情况下都是由于这些问题导致的,其中最主要的原因就是外链部分,所以我们要经常性的去检查下我们网站的外链情况。

解决方法:

以上的这些问题的解决办法都是较为简单的,我们大致可以分为两种,其一外链导致,其二程序问题。链接导致百度蜘蛛抓取网站不存在路径,我们只需要到百度站长平台使用外链拒绝工具拒绝掉,并提交网站的死链接,同时使用robots屏蔽蜘蛛抓取这些内容。要是程序因素导致百度蜘蛛抓取网站不存在路径,只需要查找程序的问题点,然后修复好程序即可。

今天就介绍到这里,后面会陆续分享这方面的知识。

就像朝日会耀眼一样,有一颗明亮的心,一样会照亮人生。

已有 位小伙伴发表了看法

欢迎 发表评论

  • 匿名发表

关于

帝国cms模板

帝国手册

帝国模板之家 | www.moyouyouw.cn

本站所有模板/文章除标明原创外,均来自网络转载,版权归原作者所有,如果有侵犯到您的权益,请联系站长删除,谢谢! 寻找帝国cms模板首选帝国模板之家,用心做站,上线至今广受好评,值得信赖!

  • 交流群1:帝国cms交流群1
  • 交流群2:帝国cms交流群2
在线QQ 给我留言