在线客服与您一对一交流
当前位置: 主页 > 行业新闻 > 行业资讯 >

西安做网站-搜索引擎蜘蛛如何爬取网站内容

  爬行是指蜘蛛在页面上沿着链接发现新页面,然后“爬”过去抓取新页面。抓取是指蜘蛛发现新页面后,像浏览器一样打开页面,把页面HTML代码存入数据库。两个概念在英文中通常都是用crawl或spider(这里是动词)表示,视上下文才能分出是指哪个。
  显然,爬行和抓取是相互交织的。抓取是实际发生的我们能够观察到的过程,在原始日志中,蜘蛛的抓取是有完整记录的,比如:抓取确切时间、状态码、抓取的文件是哪个、抓取了多大文件等等。蜘蛛对页面的抓取就和浏览器读取文件是完全一样的。
  而爬行只是一个形象的比喻,实际上并不存在蜘蛛抓取文件时发现链接然后立即跟踪过去这样一个过程。蜘蛛抓取文件后存入数据库,程序解析出文件中的链接后将URL存入页面地址库,然后蜘蛛从地址库中按一定规则选取URL进行抓取。蜘蛛不是真的访问页面时看到一个URL就爬过去。
  索引指的是将一个URL的信息进行各种整理,如去重、分词等等,然后将关于这个URL的信息存入数据库,被称为索引库。真正用于搜索的是倒排索引,以后有机会再细说。要注意的是,索引库中关于URL的信息不仅是组成页面内容的关键词及其特征(位置、格式等),还有链接、更新情况等信息。英文索引这个词是index。
  收录是SEO们最关心也最常用的词,其实也是4个概念中最不明确的。被收录指的是我们能查到页面被搜索引擎存入了索引库。但后面我们会看到,进入索引库的URL并不一定被抓取过,这和SEO们的直觉可能是不一样的。
  当然,精准掌握概念不是为了咬文嚼字,而是对很多SEO问题的理解和处理有影响。下面举几个例子。
  收录不全是什么原因?
  页面不收录是SEO们最头疼的问题之一,不收录就谈不上排名、流量了。太多人在博客、论坛里问页面不被收录是什么原因,也给出了域名,但这种问题是没法回答的,即使愿意花时间去诊断也不能回答(除非列出所有可能的原因,等于没回答),因为缺了一个关键信息:页面被抓取了没有?这只有查原始日志才能知道,看网站是看不出来的,查流量也是查不出来的。了解前面的概念就知道,被抓取不一定被收录,没被收录也不一定意味着没被抓取。
  如果页面被抓取过却没被索引和收录,应该往内容是否有问题(原创?采集?所谓伪原创?敏感内容或产品?复制内容?)方向去找原因。网站结构应该没有大问题,搜索引擎是看了内容之后觉得不适合收录的。如果页面压根就没被抓取过,则应该往网站和链接结构、搜索引擎不友好的技术障碍、域名权重等方面去找。

相关文章:

  • 无论是企业网站还是个人网站或者行业网站在运营一段时间以后,在使用过程中就会有一些新的想法或者发现一些问题,这个时候我们就会想到要把网站进度调整,所以建设了网站都有改版的...

  • 在现如今的市场经济环境当中,企业为了生存和发展,都必须面对严酷的竞争环境。在这种情况下,谁能够获得更多宣传话语权,谁就能够在竞争中获胜。从某种情况来说,企业宣传效果的优...

  • 在这个网络时代,人们的生活可谓是与网络息息相关,工作更是离不开网络,谁家的企业会没有一个对外宣传自家企业形象及产品或服务的网站呢!但是并不是所有的企业都拥有自己的...

  • 关键词是一个很重要的东西,他对你的网站优化起到了决定性的作用,甚至影响你网站的排名。好的关键词分布也会给网站建设带来好的效果。西安做网站推荐阅读 西安网站建设:高质...

  • 随着网络营销的发展迅速,市场对于从事网络营销的人员需求也是特别大,许多中小型企业都难以找到人,基本都是从本公司内部安排人员进行相关的培训,然后进行运营管理,就拿百...

  • 网站排名要想在前,首先就要学会做推广,其实,推广的方法有很多,例如:搜索引擎推广法,软文论坛推广法、网站资源合作、BLOG推广法,论坛推广法,电子邮件自动回复推广法,甚...

  • 营销型网站建设应该从哪几点着手,什么是营销型网站建设?营销型网站建设是对网站的发展,整合了各种网络营销理念和网站运营管理方法,不仅注重网站建设的专业性,更加注重网...

  • 百度竞价关键词数量越多越好吗?这个问题之前很多做竞价的企业问我,今天小编就以文字形式和大家一起探讨这个问题。 首先要明白关键词的意义是什么?说白了,关键词是竞价的基础...

  • 随着信息时代的快速步伐,网站建设已成为当今大多数企业单位的必然选择,可是,做网站我们都应该注意些什么呢?这是我们每个打算做网站的公司及个人都会提出的的问题,今天西...

  • 百度竞价是一个开放式的平台,我们可以购买竞争对手的品牌词(俗称竞品词),当用户搜索此类关键词时,可以展现我们的广告创意,那么问题就来了:如果品牌词被竞争对手购买怎么...

  • 公司:西安蟠龙网络科技有限公司
  • 联系人:张经理
  • 手机/微信:
  • Q Q: 点击这里给我发消息
  • 地址:西安市雁塔区唐延南路11号逸翠园i都会