常见搜索引擎及其抓取蜘蛛

1、百度蜘蛛

Baiduspider：以前Baiduspider、baiduspider都是百度蜘蛛，但现在统一成Baiduspider了。

Baiduspider-image：抓取图片的蜘蛛

Baiduspider-mobile：抓取wap

Baiduspider-video：抓取视频

Baiduspider-news：抓取新闻

2、谷歌蜘蛛：

Googlebot

Googlebot-Mobile：抓取wap内容

3、360蜘蛛

360Spider

4、SOSO蜘蛛

Sosospider

5、雅虎蜘蛛：

Yahoo! Slurp China 或者 Yahoo!

注意：“Slurp”前后有空格，写robots时要注意。

6、有道蜘蛛

YoudaoBot，YodaoBot

7、搜狗蜘蛛

Sogou News Spider

Sogou web spider

Sogou inst spider

Sogou spider2

Sogou blog

Sogou News Spider

Sogou Orion spider

8、MSN蜘蛛

msnbot

msnbot-media

9、必应蜘蛛

bingbot

10、一搜蜘蛛

YisouSpider

11、Alexa蜘蛛

ia_archiver

12、宜sou蜘蛛

EasouSpider

13、即刻蜘蛛

JikeSpider

转载于:https://my.oschina.net/u/2935824/blog/907962

常见搜索引擎及其抓取蜘蛛相关推荐

珠海网络推广浅析该如何高效的提高搜索引擎的抓取频次？
珠海网络推广表示每个新站在上线后,都是想要搜索引擎进行更好地收录,为网站排名奠定良好的基础.想要提高网站的收录,需要能够吸引更多的蜘蛛来爬行网站,提高抓取频次,那么要如何适当的提高搜索引擎的抓取频次呢 ...
搜索引擎只能抓取html文件,通过robots屏蔽搜索引擎抓取网站内容
robots协议屏蔽搜索引擎抓取 Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过Rob ...
什么是网络推广浅析如何提高搜索引擎的抓取频次？
新上线的网站,什么是网络推广表示,一定要被搜索引擎有很好的收录,网站排名提升才会更快.而想要网站的收录提升,就需要能够吸引更多的蜘蛛来爬行网站,提高抓取频次,那么对于这点该怎么做呢?下面什么是网络推广 ...
360搜索引擎数据抓取
BeatifulSoup网页解析 #-*- coding:utf-8 -*- #Filename:360搜索引擎 #Author:Guan #Datetime:2018/11/30import req ...
搜索引擎只能抓取html文件,为什么有些明明存在的网页不能被搜索到？
可以在站点根目录下编辑robot.txt Robot是帮助搜索引擎搜集网页的一种自动化程序,它在访问一个Web站点时,会跟随网页中的链接提取出站点上的大部分内容,并为这些网页建立索引,放在搜索引擎的数 ...
抓取一个连续的网页_搞懂各大搜索引擎蜘蛛的抓取规则，快速获得排名！
搜索引擎平台的抓取规则: 百度.360.搜狗等搜索引擎抓取规则对比! 蜘蛛抓取规则:深度优先和广度优先深度优先: 深度优先策略即一条道走到黑,当沿着一个路径走到无路可走时,再返回来走另一条路. 深度 ...
搜索引擎（蜘蛛）抓取内容规则
搜索引擎spider爬虫(蜘蛛) 其实当你了解了搜索引擎的工作流程.策略和基本算法后,就可以在一定程序上避免因为不当操作而带来的不必要处罚,同也可以快速分析出很多搜索引擎搜索结果异常的原因.有搜索行为 ...
搜索引擎蜘蛛抓取配额是什么？
一月份时,Google新的SEO代言人Gary Illyes在Google官方博客上发了一篇帖子:What Crawl Budget Means for Googlebot,讨论了搜索引擎蜘蛛抓取份额 ...
常州SEO姜东：搜索引擎的工作原理抓取、索引和排名-搜索引擎如何工作
搜索引擎的工作原理:抓取.索引和排名首先,出现. 正如我们在第 1 章中中提到的,搜索引擎是应答机.它们的存在是为了发现.理解和组织互联网内容,以便为搜索者提出的问题提供最相关的结果. 为了出现在搜 ...

常见搜索引擎及其抓取蜘蛛

常见搜索引擎及其抓取蜘蛛相关推荐

最新文章

热门文章