百度蜘蛛抓取的主要特征模拟方法(如何正确认识百度蜘蛛)
三石哥
2022-07-20 17:36:56
408
我们经常在网站日志中看到各种爬虫抓取记录,最常见的就是百度蜘蛛等搜索引擎,以百度为例,通常我们判断是否是百度蜘蛛抓取看用户代理字符串也就是User-Agent,但是User-Agent是可以模拟的,所以很多时候也会有虚假的模拟伪装成百度蜘蛛来抓取,这时候我们就需要学会分辨真伪。
首先是百度User-Agent代理字符串,百度官方公布的有如下User-Agent:
移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+
http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
新增渲染UA:
移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +
http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
需要注意的是百度新增了一个移动的User-Agent,和一个PC的User-Agent。我们知道了百度蜘蛛的User-Agent,如何正确识别和判断某条抓取是否是真实的百度蜘蛛。
如何识别百度蜘蛛
1、首选我们需要通过关键词找User-Agent中是否包含Baiduspider;
2、如果想区分移动和PC的蜘蛛的话,我们还需要在结果中再进行关键词过滤,移动端的User-Agent包含:Android 、iPhone、Mobile等三个中至少一个。
3、通过上述操作我们可以分辨出哪些抓取是百度蜘蛛抓取,但并不能分辨真伪。
判断百度蜘蛛真伪
1、验证百度蜘蛛真伪我们一般使用的是DNS反查IP的方式来进行判断,首选我们需要找到上述抓取记录中蜘蛛的IP。
2、以windows操作系统为例,开始运行中输入cmd 弹出窗口中输入 nslookup (上述IP地址),判断百度蜘蛛的真伪,真是百度蜘蛛结果中会返回以*.baidu.com 或*.baidu.jp 的格式命名hostname,如不包含则为假百度蜘蛛。
3、也有在线百度蜘蛛真伪查询工具可直接查询。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 3561739510@qq.com 举报,一经查实,本站将立刻删除。
转载请注明来自专注SEO技术,教程,推广 - 8848SEO,本文标题:《百度蜘蛛抓取的主要特征模拟方法(如何正确认识百度蜘蛛)》
- 搜索
- 最新文章
- 热门文章
-
- 如何做好百度seo排名优化?基础步骤有哪些?
- 网站优化流程有哪些步骤?如何系统地进行SEO优化?
- SEM如何制定小策略?有哪些实用的SEM策略技巧?
- 提升网站收录有哪些方法?如何优化网站内容提高搜索引擎排名?
- SEO优化策略有哪些常见误区?如何正确实施?
- 网站内容更新在网站优化中扮演什么角色?如何有效进行内容更新以提升SEO效果?
- 网站SEO优化的核心是用户体验?如何通过提升用户体验来优化SEO?
- 免费ppt模板下载网站有哪些?如何选择合适的ppt模板?
- 长尾关键词怎么优化?有效策略和步骤是什么?
- 如何提升网站的体验度?用户体验优化的五个关键步骤是什么?
- 如何用新方法和思路进行网站优化操作?常见问题有哪些解决策略?
- 移动端网站应该如何优化设置?提升用户体验的关键步骤是什么?
- SEO在网络营销中的重要性如何体现?为什么每个企业都需要重视SEO?
- 如何做好网站SEO优化?掌握这些技巧至关重要?
- SEO如何优化关键词布局?布局策略有哪些常见问题?
- 站长工具、怎么使用?如何优化网站SEO?
- 如何选择最佳的SEO优化域名?选择时需要考虑哪些因素?
- seo编辑人员如何写好一篇文章?掌握哪些技巧能提升文章质量?
- 网页设计制作网站如何选择?有哪些设计趋势?
- 如何优化网站SEO以达到首页?有哪些有效策略?
- 热门tag