今天帮几个站长朋友写了个需求，就是针对特定的网址做屏蔽处理，但是对于搜索引擎的当然是开放的，然而，写的时候就遇到一个问题不知道搜索引擎的蜘蛛User-Agent是多少，我查了下资料，把整理好的信息也给大家发下，我自己也做个记录。
百度蜘蛛：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
百度移动蜘蛛：Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
360蜘蛛：Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider
搜狗蜘蛛：Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
SOSO蜘蛛：Sosospider+(+http://help.soso.com/webspider.htm)
神马蜘蛛：Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
BING(必应)蜘蛛：Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
GOOGLE蜘蛛：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
然后我总结了下这些蜘蛛的相应的特征把：
1、大部分都有含【Spider】这个单词，也就是蜘蛛的意思
2、少部分有【bot】这个单词，有机器的意思
所以结合上面的两个特征，大家就可以根据自己的需求来进行编码了。