百度蜘蛛抓取不存在目录的解决方法

大家在分析百度蜘蛛日志的时候经常会发现一个问题，就是百度蜘蛛经常会抓取一些不存在的目录，比如：我网站没有这些目录，但是百度蜘蛛一直在抓取，或者你会发现百度蜘蛛在抓取自己的隐私目录，或者说php文件。下面帝国模板之家小编来给大家总结分析一下原因和解决方法。

可能原因：

1、被对手恶意刷外链，也就是说竞争对手恶意的给你发了很多的不存在的页面链接，当蜘蛛发现之后就会来爬取;

2、以前做的外链，后来由于网站改版而某些链接没有及时的去除，蜘蛛定期回访的时候爬取了这条链接;

3、还有就是购买的域名会出现这样的情况，旧域名之前一定会在搜索引擎留下不同的链接，这种情况类似于第2种问题;

4、robots文件没有对蜘蛛进行限制;

5、这个问题较难发现，因为这是程序引起的，程序引起的情况很少也不容易发现。一般出现这样的情况是因为程序吧百度蜘蛛牵引导黑洞里;

6、url提交或者ping给百度地址有误;

蜘蛛爬取不存在的页面，一般情况下都是由于这些问题导致的，其中最主要的原因就是外链部分，所以我们要经常性的去检查下我们网站的外链情况。

解决方法：

以上的这些问题的解决办法都是较为简单的，我们大致可以分为两种，其一外链导致，其二程序问题。链接导致百度蜘蛛抓取网站不存在路径，我们只需要到百度站长平台使用外链拒绝工具拒绝掉，并提交网站的死链接，同时使用robots屏蔽蜘蛛抓取这些内容。要是程序因素导致百度蜘蛛抓取网站不存在路径，只需要查找程序的问题点，然后修复好程序即可。

今天就介绍到这里，后面会陆续分享这方面的知识。