当前位置:首页 > 专栏 > 互联网 > 正文内容

百度spider、谷歌spider等各大搜索引擎UA大全

seo宾7个月前 (10-18)互联网1215

一、百度UA

(一)移动User-Agent:

1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

(二)PCUser-Agent:

1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

(三)小程序User-Agent:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

来源文档:https://ziyuan.baidu.com/college/articleinfo?id=3457

百度补充内容:

索引擎百度各个产品使用不同的user-agent:

产品名称

对应user-agent

网页搜索

Baiduspider

移动搜索

Baiduspider

图片搜索

Baiduspider-image

视频搜索

Baiduspider-video

新闻搜索

Baiduspider-news

百度搜藏

Baiduspider-favo

百度联盟

Baiduspider-cpro

商务搜索

Baiduspider-ads

抓取压力是否手动可调整:可以

二、360User-Agent:

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

1、PC UA:

User-Agent:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider(compatible; HaosouSpider;

2、移动 UA:

Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko)Version/4.0 Mobile Safari/534.30; 360Spider

Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30; HaosouSpider

来源文档:http://www.so.com/help/spider_ip.html

抓取压力是否手动可调整:可以

三、神马User-Agent:

PC UA:YisouSpider

移动 UA:

Mozilla/5.0 (Linux; U; Android 4.3; zh-CN; SCH-N719 Build/JSS15J) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 YisouSpider/1.0.0 Mobile Safari/533.1

抓取压力是否手动可调整:可以

四、搜狗UA:

抓取压力是否手动可调整:可以

五、头条搜索User-Agent:

头条搜索的爬虫UA为“Bytespider”首写字母为大写,例如:

1、PC

Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

2、Android

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

3、iOS

Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

文档来源:https://zhanzhang.toutiao.com/page/outer/docs/26899/

抓取压力是否手动可调整:可以

六、谷歌User-Agent:

Google 的常见抓取工具用于构建 Google 的搜索索引、执行其他产品特定的抓取以及分析。它们始终遵循 robots.txt 规则,并且通常会从 googlebot.json 对象中发布的 IP 范围进行抓取。

常见抓取工具

1、Googlebot(智能手机版)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z

Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

2、Googlebot(桌面版)

  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

  • 很少:

    • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

    • Googlebot/2.1 (+http://www.google.com/bot.html)

3、Googlebot Image

Googlebot-Image/1.0

4、Googlebot News

  • Googlebot-News

  • Googlebot

Googlebot-News 用户代理使用各种 Googlebot 用户代理字符串

5、Googlebot Video

Googlebot-Video/1.0

6、Google Favicon

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

7、Google StoreBot

  • 桌面版代理:
    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • 移动版代理:
    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

8、Google-InspectionTool

  • 移动设备
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0)

  • 桌面设备
    Mozilla/5.0 (compatible; Google-InspectionTool/1.0)

9、GoogleOther

GoogleOther

文档来源:https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=zh-cn#googlebot-desktop

抓取压力是否手动可调整:可以

七、微软bingUser-Agent:

1、PC端:Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36

2、移动端:Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

说明:在上面的字符串中,“W.X.Y.Z”将被替换为我们使用的最新Microsoft Edge版本,例如“100.0.4896.127”。

文档来源:https://blogs.bing.com/webmaster/april-2022/Announcing-user-agent-change-for-Bing-crawler-bingbot

抓取压力是否手动可调整:可以


扫描二维码推送至手机访问。

版权声明:本文由字母汇发布,如需转载请注明出处。

本文链接:https://www.izzi.cn/post/153935.html

分享给朋友:

“百度spider、谷歌spider等各大搜索引擎UA大全” 的相关文章

目前主流搜索引擎有哪些

目前主流搜索引擎有哪些

根据statcounter网站统计,目前全球主流的搜索引擎:谷歌、必应、雅虎、Yandex和百度,其中,谷歌是全球最大的搜索引擎。从归属国来说,谷歌、必应和雅虎都是美国的公司,Yandex是俄罗斯的公司,百度是中国的公司。从全球搜索引擎份额(电脑+移动),2022年来说:谷歌全球占比92%左右,必应...

如何查看网站历史

如果您想查看网站的历史记录,有几种方法可以尝试:使用Internet Archive(https://archive.org/)。该网站是一个数字图书馆,允许用户查看网站的历史版本。在主页上输入您要查看的网址,然后选择某个日期的存档记录即可查看。使用Google的缓存功能。在Google搜索结果页面...

sem和seo如何较好的合理使用

SEM和SEO都是数字营销中的重要策略,它们可以在不同方面为您的品牌和网站带来流量和曝光。要使这两种策略相互配合和协作,以下是一些合理使用的建议:站内优化:SEO和SEM都需要有一个优化的网站基础。通过SEO技术优化您的网站,以便在搜索引擎结果页面(SERP)中排名更高,从而为SEM广告创造更多曝光...

SEOer日常每天需要做什么

一、流量检查项频次是否必须说明总流量:PV、UV、IP……每日是监控流量是否异常渠道来源:搜索来源、直接访问和其他每日是监控渠道数据是否异常各业务线频道:PV、UV、IP……每日是保障重点业务,才是最重要的重点业务线频道渠道来源:搜索来源、直接访问和其他每日否补充查找重点业务线异常流量来源各个搜索引...

如何快速获取SEO流量?优质内容网站效果最佳

如何快速获取SEO流量?做用户搜索聚合页,是个不错的选择。前提条件:有大量优质的原创内容(没有也能做,但效果一般或是短期效果)。案例:1688、京东、阿里云、腾讯云、抖音、懂车帝……如何做?一、明确行业内用户需求,找到用户搜索词(爱站、5118都有搜索词提供)。二、调研自己官网用户搜索词的覆盖情况(...

网站URL书写规则

网站的网址结构尽可能使用简单、易懂的字词,使网址结构合乎逻辑并易于人们理解。同时,也要兼顾同类页面的收录查询和数据统计。建议:在网址中使用简单、说明性字词:https://www.izzi.cn/wiki/建议:在网址中使用已本地化的字词(如果适用)。https://www.example.com/...