google站长工具之google抓取工具使用

作者: fangjun 分类: google站长工具使用教程 发布时间: 2017-03-25 11:11

利用google抓取工具您可以测试google会如何抓取或呈现您的网站上某个网址。 您可以使用“google抓取方式” 了解googlebot是否访问您网站上的某个网页,会如何呈现该网页,以及是否已被禁止访问任何网页资源, 这个工具会模拟google的常规抓取和呈现流程中所执行的抓取和呈现操作,有助于调试您网站上出现的抓取问题。 如下图

google站长工具之google抓取工具使用

操作流程:

– 在文本框中,输入您希望googlebot在您网站中住区的网址路径部分 加入网站 www.abc.com/123.html 那么你只需要输入 123.html 部分到文本框就可以了

注意:抓取的网址只限于当前网站:例如 你在google站长工具中认证的网站是www.abc.com 那么只能在这个资源下进行抓取测试; 抓取操作不会发送任何 cookie 、登陆信息或者其他状态信息; 抓取操作不会跟踪重定向。如果您抓取的网页存在重定向,那么就会和上图一样 提示“重定向”。

2.选择您希望用于执行模拟抓取操作的 googlebot 的类型。 这决定了执行抓取操作的具体抓取工具,以及“抓取并呈现”请求的具体呈现方式。 您可以从以下类型中进行选择:

a. 桌面版 【默认】

对于网站 , 使用 googlebot 抓取工具。

对于新闻 , 使用googlebot抓取工具。(不是googlebot新闻抓取工具)

对于图片 , 使用googlebot图片抓取工具。

对于视频 , 使用googlebot视频抓取工具。

 b. 移动版: 手机端

当前的 – 使用当前版本的 google 智能收集抓取工具

总结: google 抓取工具不用将其想的过于复杂,将网址放入表单框中,如果有提示 抓取错误或者由重定向的 ,那么我们就要立刻做出相应的处理工作。

发表评论

电子邮件地址不会被公开。 必填项已用*标注