您现在的位置是:主页 > 网站建设 > 网站建设

石家庄网络公司:抓取诊断 网站优化排名工具升级—增加详细错误说明

邢台网站优化h-5321站长工具(4)抓取工具(1)百度spider(1)人已围观

简介百度站长中的抓取诊断工具在很多程度上帮助站长实现了快速收录的目的。现在百度再次发布公告在该工具组中增加

百度站长中的抓取诊断工具在很多程度上帮助站长实现了快速收录的目的。现在百度再次发布公告在该工具组中增加了详细错误说明功能,这将更加便捷站长们快速了解网站情况。那今天邢台网站建设就将相关信息分享与大家。

百度站长平台抓取诊断工具全新升级,增加抓取错误详细说明,同时优化了工具界面,帮助站长更快捷的了解网站页面在百度spider中的抓取状态和抓取内容,以来确定网页在百度中的抓取是否符合预期。

升级版抓取诊断工具地址:

抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容,和预期是否一致。每个站点每周可使用70次,抓取结果只展现百度蜘蛛可见的前200KB内容。

一、抓取诊断工具功能亮点:

1、模拟百度spider抓取,诊断抓取内容是否符合预期:能够模拟PCUA和移动UA对网页进行抓取,抓取结果能够展现spider可见的前200KB内容,帮助站长诊断网站在百度中的抓取是否存在问题。该工具每个站点每周可使用70次。

2、能够检查网页是否被加了黑链或隐藏文本。

3、通知百度更新网站IP:检查百度访问的网站IP是否正确,若抓取IP错误,可通过报错通知百度更新IP。

4、增加详细的抓取失败说明:对抓取失败的页面,增加了详细的说明,辅助站长快速解决网站问题。

二、抓取诊断工具的作用:

1、诊断抓取内容是否符合预期,譬如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。

石家庄网络公司:抓取诊断
网站优化排名工具升级—增加详细错误说明

2、诊断网页是否被加了黒链、隐藏文本。网站如果被黑,可能被加上隐藏的链接,这些链可能只在百度抓取时才出现,需要用此抓取工具诊断。

3、检查网站与百度的连接是否畅通,若是IP信息不一致,可以报错通知百度更新IP。

石家庄网络公司:抓取诊断
网站优化排名工具升级—增加详细错误说明

三、抓取诊断工具常见错误类型解析

1、url规范

百度支持抓取的url长度不超过1024,如果您的链接长度过长,请在保证正常访问的情况下,适当精简,保证链接能被百度正常抓取和收录。

2、重定向错误

重定向是指百度spider访问链接时发生了跳转,如果跳转后的链接超长或者连续跳转的次数超过5次,就会发生重定向错误而导致抓取失败。

3、服务器连接错误

这种情况是指,由于服务器响应过慢或您的网站屏蔽了百度spider,而导致百度无法访问您的网站。从而会导致百度无法正常收录或者更新您网站的内容。您可能看到以下具体错误:连接超时、连接失败、连接被拒、无响应、响应遭到截断、连接重置、标头遭到截断、超时。

4、如何处理服务器连接错误?

减少动态网页请求的过多网页加载。如果网站为多个网址提供相同内容,则会被视为动态提供内容(例如,?color=red&size=7与?size=7&color=red提供的内容相同)。动态网页的响应时间可能会很长,并会因此导致超时问题。或者,服务器可能会返回超载状态,要求百度spider放慢抓取该网站的速度。一般来说,建议您尽量使用简短的参数并谨慎使用。

确保您网站的托管服务器没有停止运行、超载或配置不当。如果连接问题、超时问题或响应问题仍然存在,请与您的网站托管服务提供商联系,并考虑增强您的网站处理流量的能力。

检查网站是否不小心屏蔽了百度spider的IP。您可能会由于系统级问题而阻止了百度访问,例如DNS配置问题、配置不当的防火墙或DoS防护系统、内容管理系统配置问题。防御系统是保证托管服务正常运行的关键因素之一,并且这些系统通常会配置为自动阻止超量的服务器请求。由于百度spider发出的请求通常要比普通用户多,因此可能会触发这些防御系统,导致它们阻止百度spider访问并抓取您的网站。要解决此类问题,您需要确定网站基础架构中的哪个部分在阻止百度spider,然后取消该阻止。如果您没有控制防火墙的权限,就需要与您的托管服务提供商联系解决此问题。

5、robots封禁问题

在抓取诊断工具中如果返回的抓取失败结论是robots封禁,请确认您是否对该网址设置了robots,阻止百度spider抓取网站的某些内容,如果您未使用robots文件屏蔽百度,请点击旁边的报错链接,百度会立即更新您站点的robots信息;如果是您的误操作导致了封禁,请及时修改robots文件,避免造成您的网站在百度收录量和流量的下降。

6、DNS问题

DNS错误是指由于服务器停止运行或DNS到您网域的路由存在问题,导致百度spider无法与DNS服务器通信。

7、如何处理DNS错误?

很赞哦! ()

文章评论

站点信息

  • 建站时间:2018年04月24日
  • 微信公众号:扫描二维码,关注我们
  • 站点地图:xml地图/html地图