在Nutch爬虫爬取新浪的时候爬取率低，抽查了相关种子发现新浪搜索页面的帖子爬取率很低。遂展开分析–

搜索页面的网页内容特点

和专业的搜索引擎一样，新浪的搜索引擎搜索结果往往是众多网页的聚合，既是众多内容的聚合，也是多种形式的聚合。

这就意味着要解析索引到的这些网页，需要编写很多解析插件。幸运的是大多数类型的新浪网页，虽然网页所属的板块不同，然而网页的结构类似，采用了相同的网页模板，对于这些网页，需要修改nutch的过滤插件regex-urlfilter.txt使其支持url，并在自己写的解析插件中支持这种url。至于其他网站的网页，以及新浪采用不同模板的网页暂不考虑，爬取率保证在90%以上即可。我们需要用新浪的新闻搜索引擎搜索一些手机的相关新闻按相关度排序。以华为为例，搜索的链接为
http://search.sina.com.cn/?range=all&c=news&q=%BB%AA%CE%AA&from=top&col=&source=&country=&size=&time=&a=&sort=rel，附上网页链接（用casperjs获取到的实时链接）

下面是在验证爬取率时出现的两种情况：多爬和少爬。

多出来的链接

Huawei
“http://slide.tech.sina.com.cn/mobile/slide_5_22298_65513.html?img=1303562“,
“http://slide.tech.sina.com.cn/mobile/slide_5_22298_65513.html?img=1303562“,
“http://slide.tech.sina.com.cn/mobile/slide_5_22298_65513.html?img=1303561“,
“http://slide.tech.sina.com.cn/mobile/slide_5_22298_65513.html?img=1303563“,
“http://slide.tech.sina.com.cn/mobile/slide_5_22298_65513.html?img=1303564“,
“http://tech.sina.com.cn/t/2015-12-04/doc-ifxmisxu6250009.shtml“,
“http://tech.sina.com.cn/n/m/2015-12-04/doc-ifxmifzc0801858.shtml“,
“http://tech.sina.com.cn/mobile/n/n/2015-12-03/doc-ifxmifze7557039.shtml“,
“http://news.sina.com.cn/o/2015-12-04/doc-ifxmhqaa9897708.shtml“,
“http://news.sina.com.cn/o/2015-12-04/doc-ifxmhqaa9897702.shtml“,
“http://news.sina.com.cn/o/2015-12-04/doc-ifxmhqaa9897441.shtml“,
“http://tech.sina.com.cn/notebook/pad/2015-12-03/doc-ifxmcnkr7786923.shtml“,
“http://vic.sina.com.cn/news/27/2015/1203/64664.html“,
“http://finance.sina.com.cn/roll/20151204/051923928311.shtml“,
“http://news.sina.com.cn/o/2015-12-04/doc-ifxmhqaa9876368.shtml“,
“http://news.sina.com.cn/o/2015-12-03/doc-ifxmhqaa9856572.shtml“,
“http://news.sina.com.cn/o/2015-12-03/doc-ifxmhqaa9857492.shtml“,
“http://news.sina.com.cn/o/2015-12-03/doc-ifxmihae8911723.shtml“,
“http://finance.sina.com.cn/roll/20151203/162923924081.shtml“,
“http://finance.sina.com.cn/stock/t/20151203/160123923837.shtml“,
“http://news.sina.com.cn/o/2015-12-03/doc-ifxmihae8894721.shtml“,
“http://news.sina.com.cn/o/2015-12-03/doc-ifxmhqaa9840543.shtml“,
“http://news.sina.com.cn/o/2015-12-03/doc-ifxmhqaa9837605.shtml“,
“http://news.sina.com.cn/o/2015-12-03/doc-ifxmihae8890319.shtml”
共24条链接，其中第1-5行是第一个帖子的链接（幻灯片式网页），后面19行为2-20个帖子的链接。用nutch爬下来发现共19个链接，少爬的链接后面分析，这里多出一个链接：
http://news.sina.com.cn/c/2013-01-29/171826152112.shtml
这个链接不是网页上的，经测试此链接在换关键词为例搜索的时候也时常会出现，有时也会多出其他链接，然而并不影响爬取率，所以暂时不做处理。

少爬的链接

通过观察日志找到爬取的链接
http://news.sina.com.cn/o/2015-12-03/doc-ifxmihae8911723.shtml
http://finance.sina.com.cn/stock/t/20151204/105623933366.shtml
http://news.sina.com.cn/o/2015-12-03/doc-ifxmhqaa9857492.shtml
http://news.sina.com.cn/o/2015-12-03/doc-ifxmhqaa9840543.shtml
http://news.sina.com.cn/o/2015-12-03/doc-ifxmhqaa9856572.shtml
http://news.sina.com.cn/o/2015-12-04/doc-ifxmhqaa9897441.shtml
http://tech.sina.com.cn/t/2015-12-04/doc-ifxmisxu6250009.shtml
http://news.sina.com.cn/o/2015-12-03/doc-ifxmihae8894721.shtml
http://finance.sina.com.cn/stock/t/20151203/160123923837.shtml
http://finance.sina.com.cn/roll/20151203/162923924081.shtml
http://news.sina.com.cn/c/2013-01-29/171826152112.shtml
http://finance.sina.com.cn/roll/20151204/051923928311.shtml
http://tech.sina.com.cn/n/m/2015-12-04/doc-ifxmifzc0801858.shtml
http://tech.sina.com.cn/mobile/n/n/2015-12-03/doc-ifxmifze7557039.shtml
http://news.sina.com.cn/o/2015-12-04/doc-ifxmhqaa9897708.shtml
http://news.sina.com.cn/o/2015-12-03/doc-ifxmhqaa9837605.shtml
http://news.sina.com.cn/o/2015-12-04/doc-ifxmhqaa9897702.shtml
http://news.sina.com.cn/o/2015-12-04/doc-ifxmhqaa9876368.shtml
http://tech.sina.com.cn/notebook/pad/2015-12-03/doc-ifxmcnkr7786923.shtml
和之前的capserjs取到的url进行对比，可以发现有些链接并没有爬取到，如下：
“http://slide.tech.sina.com.cn/mobile/slide_5_22298_65513.html?img=1303562“,
“http://slide.tech.sina.com.cn/mobile/slide_5_22298_65513.html?img=1303562“,
“http://slide.tech.sina.com.cn/mobile/slide_5_22298_65513.html?img=1303561“,
“http://slide.tech.sina.com.cn/mobile/slide_5_22298_65513.html?img=1303563“,
“http://slide.tech.sina.com.cn/mobile/slide_5_22298_65513.html?img=1303564“,
“http://vic.sina.com.cn/news/27/2015/1203/64664.html”
观察他们的特点发现它们的后缀不是.shtml，与我们在插件中判断url是否需要爬取的策略一致。可见我们的解决方案是可行的。

更复杂的情况

这次我们用华为，中兴，小米做关键词分别进行搜索，结果发现少的链接数多了，多爬的也多了。开始我比较了三个数据:
网页实际的链接 a ->Nutch获取到的链接数 b ->实际爬取的链接数 c
发现b>a>c ，找不到原因，b中莫名其妙的多出一些重复。
后来发现其实是出链获取过程中，会获取重复的链接，对a/b/c都增加了去重，比较b和c，a和c，a和b都合理了。其实这时发现和简单的情况一样，比较a和c即可。

经验证我们过滤掉的url数目d满足：a-b+1=d。

MARK一下写的python去重和比较脚本

before = []
after = []
total = []
total_no_repeat =[]
irregular = []def remove_same_item(before_file, after_file):try:f = open(before_file)for each_line in f:piece =each_line.split(' ')before.append(piece[-1])f.close()before_deduplicated = list(set(before))before.sort()print ("after deduplication, size of outlinks: "+str(before_deduplicated.__len__()))# for each_line in before:#     print each_linef = open(after_file)for each_line in f:piece =each_line.split(' ')after.append(piece[-1])f.close()after_deduplicated = list(set(after))after.sort()print ("actual size of links to crawl: "+str(after_deduplicated.__len__()))# for each_line in after:#     print each_linefor each_line in after_deduplicated:if before_deduplicated.__contains__(each_line):before_deduplicated.remove(each_line)print (before_deduplicated.__len__())for each_line in before_deduplicated:print each_lineexcept ValueError:passdef count_irregular(file_name):try:f = open (file_name)for each_line in f:total.append(each_line)if not str(each_line).__contains__(".shtml"):irregular.append(each_line)print "number of links on webpages: "+str(total.__len__())total_no_repeat = list(set(total))total_no_repeat.sort()print "number of links on webpages after dedupaliction: "+str(total_no_repeat.__len__())print "number of irregular links on webpages: "+str(irregular.__len__())except ValueError:passcount_irregular('original.txt')
remove_same_item('before.txt','after.txt')

爬取新浪搜索内容遇到的问题及解决相关推荐

爬取新浪新闻[内容笔记代码整理]
学习视频:网易云 Python网络爬虫实战环境:python3.5,requests,bs4,json,pandas,re,datetime 主要完成内容:爬取了新浪新闻-国内新闻版块的新闻信息,包 ...
Python爬虫爬取新浪新闻内容
首先感谢丘祐玮老师在网易云课堂的Python网络爬虫实战课程,接下来也都是根据课程内容而写.一来算是自己的学习笔记,二来分享给大家参考之用. 课程视频大概是在16年11月录制的,现在是18年2月.其中 ...
从入门到入土：Python爬虫学习|实例练手|爬取新浪新闻搜索指定内容|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
基于scrapy框架爬取新浪体育部分板块内容
import scrapy from selenium import webdriver from sohuPro.items import SohuproItem class SohuSpider( ...
Python3：爬取新浪、网易、今日头条、UC四大网站新闻标题及内容
Python3:爬取新浪.网易.今日头条.UC四大网站新闻标题及内容以爬取相应网站的社会新闻内容为例: 一.新浪: 新浪网的新闻比较好爬取,我是用BeautifulSoup直接解析的,它并没有使用J ...
[Python爬虫]爬取新浪理财师股票问答
本文将与大家分享如何爬取新浪理财师股票问答. 一.背景介绍 1)爬取顺序: 在这里,根据已有的股票id列表,按照顺序,依次爬取每只股票下面的股票问答. 股票id格式: lines = ['300592 ...
python爬取新浪新闻
最近公司项目比较少,楼主闲了好长时间了,作为一个刚毕业几个月的新人,心里很烦躁,只能自己找点新东西去学了.看到周围好多人都接触了爬虫,再加上楼主最近沉迷吴宣仪不可自拔,每天投票投票,投票的同时需要监控 ...
python爬虫-使用BeautifulSoup爬取新浪新闻标题
** python爬虫-使用BeautifulSoup爬取新浪新闻标题 ** 最近在学习爬虫的技巧,首先学习的是较为简单的BeautifulSoup,应用于新浪新闻上. import requests ...
python-基于selenium库爬取微博关键词搜索内容
python-基于selenium爬取微博关键词搜索内容用的是谷歌浏览器需要下载chromedriver 暂时还少了登录步骤不能爬取第一页以外的内容爬取内容(默认了40条(还没有做到翻页所以会重 ...

爬取新浪搜索内容遇到的问题及解决

搜索页面的网页内容特点

多出来的链接

少爬的链接

更复杂的情况

爬取新浪搜索内容遇到的问题及解决相关推荐

最新文章

热门文章