北京SEO百度排名优化_刷百度排名行业领先-小度SEO一站式SEO服务,帮助企业网站快速排名,快速上首页!| 网站地图
首页
主页 > SEO技术 > 如何节省搜索引擎蜘蛛的抓取份额?(增加网站曝光率)

如何节省搜索引擎蜘蛛的抓取份额?(增加网站曝光率)

首页 2020-02-19 14:42 SEO技术 89 ℃


蜘蛛抓取份额
如何节省搜索引擎蜘蛛的抓取份额?
 
抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。对于特定网站,搜索引擎蜘蛛花在这个网站上的总时间是相对固定的,不会无限制地抓取网站所有页面。
抓取份额的英文Google用的是crawl budget,直译是爬行预算,我觉得不太能说明是什么意思,所以用抓取份额表达这个概念。

抓取需求

抓取需求,crawl demand,指的是搜索引擎“想”抓取特定网站多少页面。
决定抓取需求的主要有两个因素。一是页面权重,网站上有多少页面达到了基本页面权重,搜索引擎就想抓取多少页面。二是索引库里页面是否太久没更新了。说到底还是页面权重,权重高的页面就不会太久不更新。
页面权重和网站权重又是息息相关的,提高网站权重,就能使搜索引擎愿意多抓取页面。

抓取速度限制

搜索引擎蜘蛛不会为了抓取更多页面,把人家网站服务器拖垮,所以对某个网站都会设定一个抓取速度的上限,crawl rate limit,也就是服务器能承受的上限,在这个速度限制内,蜘蛛抓取不会拖慢服务器、影响用户访问。
服务器反应速度够快,这个速度限制就上调一点,抓取加快,服务器反应速度下降,速度限制跟着下降,抓取减慢,甚至停止抓取。
所以,抓取速度限制是搜索引擎“能”抓取的页面数。
 

抓取份额是由什么决定的?

抓取份额是考虑抓取需求和抓取速度限制两者之后的结果,也就是搜索引擎“想”抓,同时又“能”抓的页面数。
网站权重高,页面内容质量高,页面够多,服务器速度够快,抓取份额就大。

怎样节省抓取份额?

当然首先是降低页面文件大小,提高服务器速度,优化数据库,降低抓取时间。
然后,尽量避免上面列出的浪费抓取份额的东西。有的是内容质量问题,有的是网站结构问题,如果是结构问题,最简单的办法是robots文件禁止抓取,但多少会浪费些页面权重,因为权重只进不出。
某些情况下使用链接nofollow属性可以节省抓取份额。小网站,由于抓取份额用不完,加nofollow是没有意义的。大网站,nofollow是可以在一定程度上控制权重流动和分配的,精心设计的nofollow会使无意义页面权重降低,提升重要页面权重。搜索引擎抓取时会使用一个URL抓取列表,里面待抓URL是按页面权重排序的,重要页面权重提升,会先被抓取,无意义页面权重可能低到搜索引擎不想抓取。
 
链接加nofollow不会浪费抓取份额。但在Google是会浪费权重的。
noindex标签不能节省抓取份额。搜索引擎要知道页面上有noindex标签,就得先抓取这个页面,所以并不节省抓取份额。
canonical标签有时候能节省一点抓取份额。和noindex标签一样,搜索引擎要知道页面上有canonical标签,就得先抓取这个页面,所以并不直接节省抓取份额。但有canonical标签的页面被抓取频率经常会降低,所以会节省一点抓取份额。
抓取速度和抓取份额不是排名因素。但没被抓取的页面也谈不上排名。

浪费抓取份额的典型页面有:

大量过滤筛选页面。这一点,几年前关于无效URL爬行索引的帖子里有详细讨论。 
站内复制内容
低质、垃圾内容
日历之类的无限个页面
 
 


原标题:如何节省搜索引擎蜘蛛的抓取份额?(增加网站曝光率)

tag标签: 百度搜索引擎 提高网站收录

搜索
网站分类
tag标签
 

15361814538

需要搜索引擎优化服务,请联系客服:

微信二维码

添加QQ,提升网站排名:加好友