许多朋友提到在解析网站日志的时候,不知道究竟哪些才是真正的百度蜘蛛!我们应该怎么去分辨呢?这里沐风SEO给出百度官方的答案,大家可以依据这份指南和操纵想法去鉴别。
一、察看UA信息
假如UA信息不对,可以直接判断该蜘蛛为非百度搜索的蜘蛛。
目前UA分为移动、PC、和小程序三个利用场景,差别如下:
【移动UA】
1、Mozilla50(Linux;u;Andro 422;zh-cn;) AppleWebKit53446 (KHTML,like Gecko)Version51 Mobile Safari1060063 (patible; Bausper20;+bausearchsper)
2、Mozilla50 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit601146 (KHTML, like Gecko)Version90 Mobile13B143 Safari6011 (patible; Bausper-render20;+bausearchsper)
【PC UA】
1、Mozilla50(patible; Bausper20; +bausearchsper)
2、Mozilla50(patible; Bausper-render20; +bausearchsper)
【小程序UA】
Mozilla50 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit601146 (KHTML, like Gecko)Version90 Mobile13B143 Safari6011 (patible; Bausper-render20;Smartapp; +bausearchsper)
二、双向DNS分析认证第一步:DNS反查IP
第一步:DNS反查IP
开发者可以对日志中拜访服务器的IP地址进行反向DNS查找,判断某只sper是否来自百度搜索引擎,Bausper的hostname以*bau或*baujp 的形式命名,非*bau或*baujp即为冒充。
在LinuxWindosOS三种平台下,验证想法差别如下:
1) 在Linux平台下,可以采用host IP号召反解IP来判断该抓取是否来自Bausper。
2) 在Windos平台或者IBM OS2平台下,可以采用nslookup IP号召反解IP:打开号召处置器,输入nslookup xxxxxxxxxxxx(IP地址)就能分析IP,判断该抓取是否来自Bausper。
3) 在macOS平台下,可以采用dig号召反解IP:打开号召处置器输入dig -x xxxxxxxxxxxx(IP地址)就能分析IP,判断该抓取是否来自Bausper。
第二步:对域名运行正向DNS查找
对第一步中通过号召检索到的域名运行正向DNS查找,验证该域名与日志中拜访服务器的原始IP地址是否一致,IP地址一致可确定sper来自百度搜索引擎,IP地址不一致即为冒充。
【示例】 host 11120619869 69198206111 in-addrarpa domain name pointer bausper-111-206-198-69cralbau hostbausper-111-206-198-69cralbau bausper-111-206-198-69cralbau has address 11120619869 以上就是百度官方给出的想法,大家在收拾完百度蜘蛛以以后,对于那些有问题的ip可以依照上述想法去查询!网上也有许多“大神”给出的结算,但这些十有八九是不靠谱的,建议大家还是严格依照百度的想法来。另外,不要相信那些所谓的权重蜘蛛、降权蜘蛛等等,这些都是忽悠。