搜索引擎特征码(转）

2019独角兽企业重金招聘Python工程师标准>>>

百度搜索引擎

baiduspider：百度网页搜索
baiduspider-mobile：无线搜索
baiduspider-image：图片搜索
baiduspider-video：视频搜索
baiduspider-news：新闻搜索
baiduspider-favo：百度搜藏
baiduspider-mobile-gate：百度手机搜索
baidu-thumbnail：百度快照

符合某种情况才会出动的爬虫特征码

baiduspider-cpro：百度联盟站点
baiduspider-sfkr：百度竞价站点
baidu-transcoder：未做说明
baiducustomer：百度开始人工审核

中英文谷歌(Google)搜索引擎

Googlebot：谷歌网页
Googlebot-Mobile：谷歌手机搜索
Googlebot-Image：谷歌网页图片

符合某种情况才会出动的爬虫特征码

Mediapartners-Google：Google Adsense网页
Adsbot-Google：Google Adwords网页
Feedfetcher-Google：Google订阅

搜狐搜狗搜索引擎

Sogou web robot：搜狗网页
Sogou web spider：搜狗网页
Sogou-Test-Spider：搜狗网页
Sogou Orion spider：搜狗网页

中英文雅虎搜索引擎

Yahoo! Slurp：雅虎英文
Yahoo! Slurp China：雅虎中国
YahooFeedSeeker：雅虎订阅
Yahoo Blogs：雅虎博客蜘蛛
Yahoo Image：雅虎图片蜘蛛
Yahoo AD：雅虎广告蜘蛛
Yahoo ContentMatch Crawler：Yahoo 搜索竞价蜘蛛
Yahoo-MMCrawler：雅虎图片

腾讯搜搜搜索引擎

Sosospider：搜搜网页蜘蛛
Sosoblogspider：搜搜博客蜘蛛
Sosoimagespider：搜搜图片蜘蛛

网易有道搜索引擎

YoudaoBot：有道网页
YodaoBot Image：有道图片
YodaoBot-Reader：有道订阅

微软MSN？

MSNBot：主网页爬虫
MSNBot-Media：图片及其它媒体爬虫
MSNBot-NewsBlogs：新闻及blog爬虫
MSNBot-Products：产品及购物爬虫
MSNBot-Academic：学术搜索爬虫

转载于:https://my.oschina.net/lnmpstudy/blog/136764

搜索引擎特征码(转）相关推荐

电子设计搜索引擎引入分析和见解
电子设计搜索引擎引入分析和见解 Electronics Design Search Engine Introduces Analytics and Insights 2020年上半年最受欢迎的组件是什 ...
搜索引擎ElasticSearchV5.4.2系列二之ElasticSearchV5.4.2+kibanaV5.4.2+x-packV5.4.2安装
相关博文: 搜索引擎ElasticSearchV5.4.2系列一之ES介绍搜索引擎ElasticSearchV5.4.2系列二之ElasticSearchV5.4.2+klanaV5.4.2+x-p ...
搜索引擎优化培训教程
很详细的搜索引擎优化培训教材 View more presentations from mysqlops 转载于:https://www.cnblogs.com/macleanoracle/archi ...
蜘蛛搜索引擎_各大搜索引擎的蜘蛛特点
我们在做SEO时,需要对各个搜索引擎的爬行蜘蛛有一个很好的了解认知,才能更好的去做好SEO优化,就如你要去谈业务,各大客户的一些身份信息需要了解一样. 下面每日学点SEO就给大家整理了各大搜索引擎蜘蛛 ...
php常用的搜索引擎,常用搜索引擎高级命令有哪些
一些常用的高级搜索引擎命令,包括以下: 1.Site 这个是最常见的高级搜索命令,作用是查询网站的收录情况,并且这个命令在所有的搜索引擎里是通用的.用法:site:www.aizhan.com 2.D ...
百度搜索引擎广告SEM调用架构示意图
下面是从百度计算广告学教程的一份ppt中摘取的几张图片,它们清晰地给出了搜索引擎广告的投放流程,以便参考. 参考文献 [1].百度搜索广告系统工程架构.ppt
搜索引擎技术之概要预览
搜索引擎技术之概要预览前言近些天在学校静心复习功课与梳理思路(找工作的事情暂缓),趁闲暇之际,常看有关搜索引擎相关技术类的文章,接触到不少此前未曾触碰到的诸多概念与技术,如爬虫,网页抓取,分词,索 ...
搜索引擎中的URL散列
散列(hash)也就是哈希,是信息存储和查询所用的一项基本技术.在搜索引擎中网络爬虫在抓取网页时为了对网页进行有效地排重必须对URL进行散列,这样才能快速地排除已经抓取过的网页.最理想的状态是对联网上 ...
ASP.NET 制作让搜索引擎可以友好访问的链接
作者:http://www.donews.net/lealting/archive/2004/03/31/9759.aspx 今天看了一篇文章,主要是讲,如何制作让搜索引擎可以友好访问的链接,大概的内 ...

搜索引擎特征码(转）

搜索引擎特征码(转）相关推荐

最新文章

热门文章