蜘蛛可爬行的url链接结构

作者: fangjun 分类: seo工作笔记 发布时间: 2016-12-02 11:23

web网页中的url链接帮助搜索引擎能发现新的与之相关的网站和网页,所以url的结构形式也是影响seo工作的因素之一。有许多网站往往会在链接上犯错误,比如动态链接形式,或者影藏和混淆导航等。

蜘蛛到达页面a并且看到了指向页面b和e的链接,但是,页面c和d也可能是网站上的重要页面,但是蜘蛛没办法到达这些网页,因为没有指向它们的直接可爬行的链接。如下图所示 其实对于百度来说,它们根本就不存在,如果蜘蛛一开始就没有到达这些页面,那么好的内容、关键词定位都起不到任何作用。

 

蜘蛛可爬行的url链接结构

在我们的表单页面中的链接,所示蜘蛛不会像人一样提交表单,因此只能通过表单访问的内容或者链接对搜索引擎是不可见的,甚至对于用户登录、搜索框或者某些下拉列表这样的简单表单也是如此。

除了表单之外就是页面中的JavaScript中的链接了,如果在链接使用了JavaScript,你可能会发现搜索引擎不进行爬行,或者给嵌入的链接很低的权重。

flash、java或者他插件中的链接搜索引擎也是不可见的,理论上,搜索引擎在检查flash链接方面正在取得进展,但是不要抱太大的希望。

除了以上这些之外,假如一个页面中堆积了成千上万个链接网页,这些数量的链接大大超出了蜘蛛的抓取的范围,蜘蛛抓取抓取到一定量的链接之后可能会停止对其他url链接的抓取工作。

发表评论

电子邮件地址不会被公开。 必填项已用*标注