百度站长工具之robots是什么?如何操作?

作者: fangjun 分类: 百度站长工具使用教程 发布时间: 2017-01-22 14:11

一个网站建立起来,总会有些页面内容不想被其他人轻易发现,但是自己又要正常访问,比如后台的登录页面、网站会员私人页面、简历网页等,这些页面一般都是比价隐私的,,在这里都需要用到robots的协议。

robots 是与搜索引擎建立的一种协议,互联网企业或者站长朋友只有遵从这个协议网站的隐私数据才不被泄漏,如果你想你的网站全部被搜索引擎抓取到建议这个协议不要建立。

那么我们如何建立自己的robots协议文件呢? 我们可以看到在百度站长工具中有robots 的功能 如下图:

百度站长工具之robots是什么?如何操作?

大家可以看到我已经将 /wp-admin/ 的文件网页做了robot协议 处理,Disallow 代表不希望所有蜘蛛访问该页面,而Allow则相反,表示允许搜索引擎抓取。 而上面user-agent 该项后面通常跟着搜索引擎的名称 比如 spiderbaidu 等, 而后面的星号“ * ” 表示默认所有的搜索引擎。具体的robots协议介绍 请参考该链接 http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12#h2_article_title29 也可百度搜索 robots 查看具体介绍。

我们可以举例说明:

案例1. 网站禁止所有搜索引擎访问

User-agent: *

Disallow: /

案例2. 允许所有搜索引擎访问

User-agent: *

Allow: /

案例3. 禁止某一个搜索引擎抓取

User-agent: spiderbaidu

Disallow: /

案例4. 允许某一个搜索引擎抓取

User-agent: spiderbaidu

Allow: /

案例5. 不允许搜索引擎访问某一个网站文件

User-agent: *

Disallow: /wp-admin/

我们可以直接在百度站长工具robots编辑框中直接编辑相关的协议规则,然后下载为txt文档,将文档上传到网站的根目录中 操作流程如下图 :

百度站长工具之robots是什么?如何操作?

百度站长工具之robots是什么?如何操作?

百度站长工具之robots是什么?如何操作?

百度站长工具之robots是什么?如何操作?

发表评论

电子邮件地址不会被公开。 必填项已用*标注