百度spider、谷歌spider等各大搜索引擎UA大全
一、百度UA
(一)移动User-Agent:
1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
(二)PCUser-Agent:
1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
(三)小程序User-Agent:
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
来源文档:https://ziyuan.baidu.com/college/articleinfo?id=3457
百度补充内容:
索引擎百度各个产品使用不同的user-agent:
产品名称 | 对应user-agent |
网页搜索 | Baiduspider |
移动搜索 | Baiduspider |
图片搜索 | Baiduspider-image |
视频搜索 | Baiduspider-video |
新闻搜索 | Baiduspider-news |
百度搜藏 | Baiduspider-favo |
百度联盟 | Baiduspider-cpro |
商务搜索 | Baiduspider-ads |
抓取压力是否手动可调整:可以
二、360User-Agent:
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
1、PC UA:
User-Agent:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider(compatible; HaosouSpider;
2、移动 UA:
Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko)Version/4.0 Mobile Safari/534.30; 360Spider
Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30; HaosouSpider
来源文档:http://www.so.com/help/spider_ip.html
抓取压力是否手动可调整:可以
三、神马User-Agent:
PC UA:YisouSpider
移动 UA:
Mozilla/5.0 (Linux; U; Android 4.3; zh-CN; SCH-N719 Build/JSS15J) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 YisouSpider/1.0.0 Mobile Safari/533.1
抓取压力是否手动可调整:可以
四、搜狗UA:
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou inst spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou News Spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou Video Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
抓取压力是否手动可调整:可以
五、头条搜索User-Agent:
头条搜索的爬虫UA为“Bytespider”首写字母为大写,例如:
1、PC
Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36
2、Android
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)
3、iOS
Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)
文档来源:https://zhanzhang.toutiao.com/page/outer/docs/26899/
抓取压力是否手动可调整:可以
六、谷歌User-Agent:
Google 的常见抓取工具用于构建 Google 的搜索索引、执行其他产品特定的抓取以及分析。它们始终遵循 robots.txt 规则,并且通常会从 googlebot.json 对象中发布的 IP 范围进行抓取。
常见抓取工具 | |
1、Googlebot(智能手机版) | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
2、Googlebot(桌面版) |
|
3、Googlebot Image | Googlebot-Image/1.0 |
4、Googlebot News |
|
Googlebot-News 用户代理使用各种 Googlebot 用户代理字符串 。 | |
5、Googlebot Video | Googlebot-Video/1.0 |
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon | |
| |
8、Google-InspectionTool |
|
9、GoogleOther | GoogleOther |
抓取压力是否手动可调整:可以
七、微软bingUser-Agent:
1、PC端:Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
2、移动端:Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
说明:在上面的字符串中,“W.X.Y.Z”将被替换为我们使用的最新Microsoft Edge版本,例如“100.0.4896.127”。
文档来源:https://blogs.bing.com/webmaster/april-2022/Announcing-user-agent-change-for-Bing-crawler-bingbot
抓取压力是否手动可调整:可以