Bing使用哪些爬虫?

必应目前经营着五种主要的爬虫:

爬虫该特定爬虫的作用用户代理字符串示例
宾宝Bingbot是我们的标准爬虫,每天都处理大多数爬网需求。Bingbot使用几个不同的用户代理字符串。
Mozilla / 5.0(兼容; bingbot / 2.0; + http://www.bing.com/bingbot.htm)Mozilla

/ 5.0 AppleWebKit / 537.36(KHTML,如Gecko;兼容; bingbot / 2.0; + http:// www。 bing.com/bingbot.htm)Chrome / WXYZ Safari / 537.36 Edg / WXYZ

Mozilla / 5.0(Linux; Android 6.0.1; Nexus 5X Build / MMB29P)AppleWebKit / 537.36(KHTML,如Gecko)Chrome / WXYZ  Mobile Safari / 537.36 Edg / WXYZ(兼容; bingbot / 2.0; + http://www.bing.com/bingbot.htm)
我们致力于将网页渲染引擎定期更新为Microsoft Edge的最新稳定版本。因此,“ WXYZ”将替换为我们使用的最新Microsoft Edge版本,例如“ 80.0.345.0”。
AdIdxBotAdIdxBot是Bing Ads使用的搜寻器。AdIdxBot负责抓取广告,并出于质量控制目的从这些广告访问网站。与Bingbot一样,AdIdxBot具有桌面版本和移动版本。
Mozilla / 5.0(兼容; adidxbot / 2.0; + http://www.bing.com/bingbot.htm)Mozilla
/ 5.0(iPhone; CPU iPhone OS 7_0,如Mac OS X)AppleWebKit / 537.51.1(KHTML,如Gecko) )版本/7.0 Mobile / 11A465 Safari / 9537.53(兼容; adidxbot / 2.0; + http://www.bing.com/bingbot.htm)Mozilla
/ 5.0(Windows Phone 8.1; ARM; Trident / 7.0; Touch; rv: 11.0; IEMobile / 11.0;诺基亚; Lumia 530)(如Gecko)(兼容; adidxbot / 2.0; + http://www.bing.com/bingbot.htm)
必应预览BingPreview用于生成页面快照。您可以在此处找到有关Bing Preview的更多详细信息。请注意,BingPreview也具有“桌面”和“移动”变体。Mozilla / 5.0(Windows NT 6.1; WOW64)AppleWebKit / 534 +(KHTML,如Gecko)BingPreview / 1.0b
Mozilla / 5.0(Windows Phone 8.1; ARM; Trident / 7.0; Touch; rv:11.0; IEMobile / 11.0;诺基亚; Lumia 530)喜欢Gecko BingPreview / 1.0b

验证真实性

上述搜寻器将在用户代理字符串中使用上述名称标识自己。但是,用户代理字符串很容易被欺骗,因此并非每个在其用户代理字符串中使用这些用户代理名称的请求都可能来自真实的Bing搜寻器。通常,Bing不共享从中进行爬网的IP地址,但是您始终可以使用Verify Bingbot工具来检查爬网程序是否真正属于Bing。

控制抓取和抓取速度

要控制我们的抓取工具与您的网站的交互方式,您有两种选择:

  • 可以将Robots.txt文件配置为告诉我们的抓取工具如何与您的网站进行交互
  • 通过Bing网站管理员工具,您可以使用抓取控制工具按小时控制抓取速度。

报告问题

如果您发现Bingbot或我们的任何其他爬网程序存在爬网问题,请按照如何报告和发布Bingbot中概述的步骤进行操作。

发表评论

电子邮件地址不会被公开。 必填项已用*标注