请选择 进入手机版 | 继续访问电脑版
环球外贸论坛 - 外贸业务员学习国际贸易知识及外贸流程的外贸网站,拓展外贸人脉的外贸圈,免费分享海外求购信息的平台,外贸实战精英分享外贸经验和业务技巧的FOB外贸论坛。

环球外贸论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 661|回复: 2

Google蜘蛛抓取和索引网页的频率

[复制链接]
发表于 2019-4-10 16:48:34 | 显示全部楼层 |阅读模式
在一次网站管理员的视频环聊中,一位网站管理员提到,如果在一个网页中添加了noindex nofollow命令,那么Google从索引中删除该网页的速度有多快。

(注释:我们在SEO过程中可能会不希望搜索引擎收录某个页面和抓取链接,noindex和nofollow两个标签就可以解决此问题。 noindex:禁止收录该页 nofollow:禁止抓取该页链接)

该管理员说他们添加了noindex nofollow命令后,但页面仍然出现在谷歌的索引中。Google的John Mueller回答了这一问题,谈话中他提到了一些网页被编入索引的频率。

John Mueller透露,URL是以不同的速率被谷歌蜘蛛抓取。这一点大家多多少少都有一定了解。令人感兴趣的是,他说一些网址可能每六个月才被谷歌抓取一次。
网站管理者说:“我们一个网页设置了noindex nofollow,www.airsoft-bbschina.com/但几个月之后我们仍然可以在谷歌索引中看到它。”

John Mueller这样回答到:

“我认为这里的问题在于谷歌不会始终以相同的频率抓取所有的网址。谷歌会每天抓取一些网址,但有些网址可能每周抓取一次,还有一些网址每隔几个月抓取一次,有的甚至可能半年左右才抓取一次。之所以这样做是为了避免服务器过载。

此外,如果你在网站上进行了重大更改,那么可能大部分更改很快就会被发现,但一般是会有遗留一些更改未被及时发现。

因此,特别当你执行网站查询等操作时,很有可能会看到那些每半年才被抓取一次的网址。几个月了,他们还是老样子。

这是谷歌重新处理、抓取网页的正常时间。因此,这并不一定表明某些事情在技术上有漏洞。如果你仍然认为这些网址根本不应该被编入索引,或许你可以给谷歌提交一个最后修改过站点地图的文件,以便Google能够以其他方式加快检索的速度。”



通过Site Map触发蜘蛛进行新的爬行和抓取

John Mueller建议更新站点地图,让Googlebot发现最近修改日期并将给予提示,以便移除旧网页、触发新的抓取。

Google URL检查工具

使用谷歌的URL检查工具,这一点John Mueller没有提到。通过Google站长工具重新提交索引,提交过程可能需要一到两周的时间。URL检查工具适用于需要重新抓取的个别网址,如果有大量网页,Google建议改为提交站点地图。
发表于 2019-4-19 10:19:40 | 显示全部楼层
我是湖南艾瓦特网络科技有限公司客户经理覃生

我们是华中地区唯一一家谷歌出海体验中心,目前主做谷歌海外推广(SEM)以及外贸网站建设,还有facebook等海外社交媒体推广,目前已经服务了300多家湖南本土外贸企业,效果显著,近期若有需要互联网线上推广的可以联系覃先生QQ838445566,vx17300725553
发表于 2019-4-19 15:24:10 | 显示全部楼层
我只是路过,哈哈哈哈哈哈
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则



关于我们|赞助广告|发布政策|Archiver|小黑屋|环球外贸论坛 ( 闽ICP备16026102号-1 )联系福伯

GMT+8, 2019-12-7 11:41 , Processed in 0.039244 second(s), 18 queries .

环球外贸论坛 - 国际贸易交流平台,外贸学习交友的外贸圈!

Powered by Discuz! X3.4

快速回复 返回顶部 返回列表