关于百度蛛蛛日志分析对SEO的作用

针对依面天小游戏网站在百度收录量不断减少的问题，近日通过对APACHE的日志分析得出，百度基本上是10天左右才来访问一次，并且不收录任何数据，但是GOOGLE是每天都来访问一次，收录小量数据，现在要查这个原因。以下是对日志的分析命令，所有的APACEH默认日志文件在/var/log/apache/目录下。

1. 百度蜘蛛爬行的次数

cat access.log | grep Baiduspider+ | wc
最左面的数值显示的就是爬行次数。

3. 百度蜘蛛抓取首页的详细记录
cat access.log | grep Baiduspider+ | grep “GET / HTTP”
百度蜘蛛好像对首页非常热爱每个钟头都来光顾，而谷歌和雅虎蜘蛛更喜欢内页。

4. 百度蜘蛛派性记录时间点分布
cat access.log | grep “Baiduspider+” | awk ‘{print $4}’

5. 百度蜘蛛爬行页面按次数降序列表
cat access.log | grep “Baiduspider+” | awk ‘{print $7}’ | sort | uniq -c | sort -r

文中的Baiduspider+改成Googlebot都可以查看谷歌的数据，鉴于大陆的特殊性，大家应该对百度的log更为关注。
附：(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录
cat access.log | grep Mediapartners
Mediapartners-Google是什么呢?Google adsense广告之所以能与内容相关，因为每个包含着adsense的广告被访问后，很快就有个Mediapartners-Google蜘蛛来到这个页面，所以几分钟后再刷新就能显示相关性广告了，真厉害啊！

关于百度蛛蛛日志分析对SEO的作用相关推荐

网站蜘蛛日志分析解读，SEO站长自查诊断
什么是网站日志通过百科我们也可以了解到,所谓的网站日志指的就是记录web服务器接收处理请求以及运行时错误等各种原始信息的以log结尾的文件.这里站长们要注意的是文件以log为后缀,只需将其下载下来使 ...
百度技术沙龙：如何设计优良的日志分析系统
每次参加完技术交流的会议,都有不少的收获和感触,在这里show一下,等有空的时候再后头看看. 今天下午的技术交流是关于数据分析这块的,正好和我目前方向比较吻合,所以收获不小,使我明晰了接下来公司数据分 ...
光年SEO日志分析系统2.0
张国平老师的光年SEO日志分析系统今天更新了,这里第一时间放出下载地址和国平老师写的详解<光年SEO日志分析系统2.0>. 下载地址: <光年SEO日志分析系统>的介绍:htt ...
百度蜘蛛爬行日志分析
一名合格的SEOer在做网站优化的时候,不仅仅是要做网站优化的一些事,我们还需要分析我们的网站.分析就包括一些用户访问的信息数据的分析还有就是我们网站的日志进行分析.网站日志记录了搜索引擎对我们网站的 ...
iis日志分析 seo必备技能
相信很多站长都知道IIS日志的存在,可是并不重视,因为一些基本数据我在站长工具就可以查询到,何必去看IIS日志呢?你这样想,就错了.想要了解真正的去了解蜘蛛,了解网站概况,观察IIS日志是必须的! 那 ...
什么是百度快照？百度快照分析及SEO优化基础工作
什么是百度快照?百度快照的分析要想分析百度快照,首先要先明白一个问题?什么是百度快照?下面,台州通盛SEO顾问为大家进行详细分析一下: 如果无法打开某个搜索结果,或者打开速度特别慢,该怎么办?&qu ...
网站SEO优化、IIS日志分析工具 IISLogViewer V2.0 发布
2019独角兽企业重金招聘Python工程师标准>>> PS:为了有个响亮些的名字,软件中文名更名为:点格网站日志分析器本次发布IIS日志分析工具[IISLogViewer] V2 ...
CYQ.IISLogViewer 一款IIS 日志分析工具 V1.0 发布[提供源码]
说几句: 昨天在秋色开源团队群里和网友聊天,有网友提到了一个概念,做站需要知道的:分析IIS日志. 然后上网找了一下资料看了下,可是秋色园寄放在人家虚拟目录的子目录中,根本没有II ...
蜘蛛日志分析工具_如何分析蜘蛛日志？
什么是蜘蛛日志? 所谓的蜘蛛日志就是当搜索引擎向服务器发送请求时产生的访问记录文件. 每个网站都会有日志文件,但是很多时候,日志文件只有在网站出现问题的时候才会被查阅.在seo方面,日志文件是更容易被 ...

关于百度蛛蛛日志分析对SEO的作用

关于百度蛛蛛日志分析对SEO的作用相关推荐

最新文章

热门文章