新浪博客 | 搜狐博客艾琳SEO小窝为您提供您感兴趣的SEO优化技巧、医疗seo优化知识、网站SEO优化推广,还有时下最流行的微营销案例!
你现在的位置:网站首页 - SEO优化技术丨技巧 - 揭秘搜索引擎网络蜘蛛抓取网页的奥秘
08月27日

揭秘搜索引擎网络蜘蛛抓取网页的奥秘

作者 : elin | 分类 : SEO优化技术丨技巧 | 超过 人围观 | 已有 0 人留下了看法

  如果你对搜索引擎的算法有一定的了解,那么学习SEO优化会非常顺手。我们首先来认识下蜘蛛如何爬取网页的?

  整体上讲,蜘蛛是分三类的,批量、增量和垂直类型。一般的网站都是采用增量型的,垂直型Spider是弥补增量型Spider,对特定的内容或行业等网页进行聚焦爬取。

  打开lgos文件进行分析,发现有很多不同的ip段spider,像 117.28.255.37 (BaiDu Spider) 这样的,当然这个ip段并不是百度的,而是站长工具的模拟蜘蛛,220,123等开头的是真正的BaiDu Spider。ip段是非常有寓意的,可以上网查下对百度Spider的分析。

  大家都知道,百度抓取一个网站分为广度爬取和深度爬取,至于具体怎么爬,这与网站的时间,更新频率,权重等等有关系。广度是进入一个页面,先把所以的url进行爬取,然后进行下一层次的页面爬行;深度爬取是根据一个链接爬到底,在返回查询别的链接。不管是什么方式,都可以爬取的,只要别去制造蜘蛛陷阱。

  

揭秘搜索引擎网络蜘蛛抓取网页的奥秘
  spider爬取网页内容

  蜘蛛的更新频率对SEO优化具有指导意义,所以我们经常分析logs文件,那是什么决定Spider的更新机制了?网页权重是众人皆知的,其次是以往的更新频率,这就是为什么我们要做定期更新,让蜘蛛了解我们网站的规律。

  网页类型不同,更新的频率也不一样,最后别忘了你做网站,搞优化的初衷是什么?不管是宣传还是实现销售,用户体验一定要抓好。Spider可不是吃素的哦,页面停留时间,跳出率等等因素已经出现在相关工具中了,百度统计,你懂得。


« 上一篇下一篇 »

已有 0 条评论了

网站分类
最近发表
Tags列表
多说最热文章