本栏目分享互联网,程序员的那些事。
新站,网站上线块两个月了,最近发现一个问题,百度蜘蛛抓取网站的频次突然逐步减少了,每次来抓取都是固定的几个页面,新发布的内容都不抓取了,百度快照也不更新,一直停留在一周前。之前百度抓取比较稳定。
下面是百度蜘蛛抓取截图:
从百度蜘蛛抓取页面分析,发现抓取频次最多的是如下页面:
https://www.moyouyouw.cn/tags/21.html
https://www.moyouyouw.cn/tags/20.html
https://www.moyouyouw.cn/tags/18.html
https://www.moyouyouw.cn/tags/192.html
https://www.moyouyouw.cn/moban.html
https://www.moyouyouw.cn
下面是抓取百度蜘蛛频次图:
百度收录图:
可能原因:
1.一周前网站断更了一次,最近更新频率比以往减少了,以前每天要发10篇文章,现在减少到了5篇左右。
2.从百度蜘蛛固定抓取的页面分析,这几个页面都有一个共同点,都是聚合页面,而却内容比较丰富,部分网页长期不抓取可能是因为内容质量低,被判定为低质量页面,蜘蛛都绕着走。
转载请注明来源:百度蜘蛛只固定抓取某些页面,新发的内容页不抓取的原因
本文永久链接地址:https://www.moyouyouw.cn/code/466.html
郑重声明:本站所有主题/文章除标明原创外,均来自网络转载,版权归原作者所有,如果有侵犯到您的权益,请联系本站删除,谢谢!我们不承担任何技术及版权问题,且不对任何资源负法律责任。
售价: 399 76 ℃ 0 评论
售价: 399 95 ℃ 0 评论
售价: 399 62 ℃ 0 评论
已有 位小伙伴发表了看法
欢迎 你 发表评论