网站优化
当前位置:主页 > 建站资讯 > 网站优化 >
网站的异常爬网直接影响SE对网站的爬网索引权重
发布日期:2021-03-27 阅读次数: 字体大小:

网站的异常爬网,爬网失败,错误的返回码设置,太多的无效链接,无效的页面,太多的重定向等,都直接影响搜索引擎对网站的异常爬网。 这将直接导致搜索引擎认为该网站存在用户体验缺陷,从而降低了对该网站的评价。 爬网,索引和权重将在一定程度上受到负面影响,最终将影响网站从百度获得的访问量。
关注信息来源百度站长帮助中心
什么是抓取异常?
对于可以在Internet上正常访问的内容,百度spider抓取结果应与普通用户访问的内容一致,但其他情况除外。
爬网异常的影响是什么:
1.什么是无效链接? 有关详细信息,请参阅:网站上的无效链接(名称:无效链接
该页面无效,无法为用户提供任何有价值的信息页面是无效链接,包括协议无效链接和内容的两种形式 死链接。
协议无效链接:页面的tcp协议状态/ HTTP协议状态清楚地指示了无效链接,例如404、403和503状态。
内容中的无效链接:服务器返回状态是正常的,但是内容已更改为不存在,已被删除或需要许可的信息页,而与 原始内容。
对于失效链接,建议通过百度站长平台-失效链接工具提交失效链接,以便搜索引擎可以更快地找到失效链接,并减少失效链接对用户和搜索引擎的负面影响。
2。 什么是IP禁令?
网络限制出口ip地址,禁止该IP网段的用户访问内容,即IP禁止。
3。ua禁封是什么?
UA是用户代理,服务器通过UA识别访问者的身份。 当网站返回到异常页面(例如403、500)或跳至另一个页面以访问指定的UA时,即为ua禁封
3。 什么是异常重定向?
将网络请求重定向到其他位置是一种重定向。 重定向异常是指以下情况
当前页面是无效页面(内容已被删除,链接失效等),直接跳转到上一个目录或主页,百度建议网站管理员覆盖该页面的入口。 无效页面删除链接
重定向到错误或无效页面
重定向3次以上,这也是异常
注意:对于长期重定向到其他域名,例如更改网站的域名,百度建议使用301跳转协议进行设置。4.还有什么其他例外?
百度引荐例外:网页从百度返回引荐的行为与正常内容不同。
百度UA异常:返回百度UA的网页行为与页面原始内容不同。
js跳转异常:网页加载了百度无法识别的js跳转代码,这导致用户在通过搜索结果进入页面后跳转。
压力过大造成的意外禁令:百度会根据网站的规模,流量和其他信息自动设置合理的爬网压力。 但是,在异常情况(例如异常压力控制)下,基于其自身的负载,有时会禁止服务器进行保护。 在这种情况下,请在返回码中返回503(意思是“service unavailable”),因此百度spider将在一段时间后尝试再次获取此链接,如果该网站是免费的,则将成功获取该链接。
异常爬网会对网站产生什么影响?
对于具有大量内容无法正常爬网的网站,搜索引擎将认为该网站存在用户体验缺陷,并会减少对该网站的评估。 在抓取和编制索引中,权重将在一定程度上受到负面影响,最终将影响网站从百度获得的访问量。

标签:百度站长平台SpiderJS跳转TCP协议状态UA禁封无效链接JS跳转代码出口IP地址301跳转协议Service Unav