谷歌:爬行错误的增加没什么可担心的;只是饿了爬虫

谷歌:爬行错误的增加没什么可担心的;| (4)由Barry Schwartz |在谷歌搜索引擎优化下提交的Prev故事下一个故事推特分享 Prev故事下一个故事

在过去的一周左右,一些网站站长已经报告了爬行错误的增加。它主要在WebmasterWorld的这个线程中进行了文档记录。有些人怀疑这与算法更新有关,但我们已经报道过不止一次,而是两次,谷歌搜索控制台中的这些爬行变化与即将到来的算法更新没有关系——至少谷歌是这么告诉我们的。

John Mueller在谷歌Hangout中被Simon问到这个问题,最后一个使用谷歌+的,在视频的24:07标记处。John说他研究了一些报告是的,它和任何算法无关。他说,在他查找的案例中,这与算法有关,他们想要重复检查很多旧的url。所以,也许GoogleBot感到了一股能量的爆发,并渴望尝试一堆旧的url。在8月3日,我们看到我们的爬行错误从1000跃升至10,000,然后在9月1日,我们看到从10,000跃升至50,000。现在,这个网站没有任何问题——这些都是2、3、4年前的爬行错误。你提到要看链接从哪里来,是不是网站地图文件等等。但即使是“来自的链接”中引用的站点地图文件也是两年前的了。我只是想知道,我很感激你已经说过谷歌机器人活动的增加并不意味着有什么事情发生或有什么事情需要担心,我很感激这只是信息,这些爬行错误并不意味着有任何问题尽管你可能想检查是否有问题。

但人们现在看到这个有什么原因吗?这种突然的增长与企鹅有关吗?“”“”“”“”约翰说:“”“”“”“”“”“”不。所以我看到了一些这样的报告,我想再和团队确认一下。我们研究了一些这样的报告,它们本质上只是我们的算法说,哦,我有所有这些旧的url,我只是想再次检查。

我觉得很奇怪,很多这些都是混在一起的,就像你提到的,它们都在同一时间。所以我想知道我们是否会改变一些具体的东西。但实际上,从网站管理员的角度来看,你不需要对此采取行动。对我们来说,这也是一个很好的推动,我们要努力弄清楚如何让这些报告更有操作性,这样我们就不会把人们吓跑。

这里是视频嵌入:

论坛讨论在谷歌+。