Scrapy中用cookie模拟登陆新浪微博

最近想做一个微博的搜索页文本分析的小项目，因为开放平台里这个api的限制略多，决定进入爬虫坑自己动手．

之前久闻Scrapy大名，尝试了一下，抓取网页甚是好用，避免了许多HTTP方面的繁琐处理．不过还是卡在了登陆这一步上．

一般模拟登陆有两种方式，一个是抓登陆时的包，然后模拟所需数据发送过去．由于新浪经常改参数和加密方式，这个方法费时费力．另一种就是直接发送cookie．

在Scrapy中具体实现时，就是在爬取的spider类中，重载start_requests方法，生成一个带cookie的request，后续爬取的request同样需要带上cookie．

一个爬取单个搜索结果网页并存储的简单spider代码如下：

#coding = utf-8from scrapy.contrib.spiders import CrawlSpider
from scrapy.http import Requestclass WeiboSpider(CrawlSpider):name = 'weibo'allowed_domains = ['weibo.com', 'sina.com.cn']def start_requests(self):url = 'http://s.weibo.com/weibo/'+keyword+'?page=2'　＃keyword为需要搜索的关键词，此处加上page=2易于测试是否成功登陆，因为搜索结果第二页未登录时是看不到的print url

Scrapy中用cookie模拟登陆新浪微博相关推荐

Scrapy框架的学习(10.Scrapy中的模拟登陆(使用cookie模拟登陆))
1. 为什么需要模拟登陆? 获取cookie,能够爬取登陆后的页面的数据 2.使用cookie模拟登陆的场景 (1) cookie过期时间很长,常见于一些不规范的网站 (2) 能在cookie过期之前 ...
利用python爬虫(part15)--cookie模拟登陆
学习笔记文章目录 cookie模拟登陆获取cookie 爬取我的简介 cookie模拟登陆有的时候,我们想要抓取一个网站,但是需要先登录才能访问它,如果不输入用户名和密码,我们就会一直停留在登录 ...
分享：Python使用cookielib和urllib2模拟登陆新浪微博并抓取数据
Python使用cookielib和urllib2模拟登陆新浪微博并抓取数据 http://my.oschina.net/leopardsaga/blog/94774
PythonScript_003_通过Cookie模拟登陆人人网
#!/usr/bin/env python # -*- coding:utf-8 -*-import urllib.request import http.cookiejar # 相当于Python2 ...
pythonurllib微博登录怎么删_Python使用cookielib和urllib2模拟登陆新浪微博并抓取数据...
我们都知道HTTP是无连接的状态协议,但是客户端和服务器端需要保持一些相互信息,比如cookie,有了cookie,服务器才能知道刚才是这个用户登录了网站,才会给予客户端访问一些页面的权限. 用浏览器 ...
Python_模拟登陆新浪微博
模拟网页登陆 1.下载http抓包软件Fiddler,打开后可以抓取到所有经过80端口的数据包 2.打开登陆新浪微博的界面,可以在Fiddler中看到相关的信息,查了一晚上的资料得知,新浪微博登陆主要 ...
微博登录记录pythonurllib_Python使用cookielib和urllib2模拟登陆新浪微博并抓取数据...
我们都知道HTTP是无连接的状态协议,但是客户端和服务器端需要保持一些相互信息,比如cookie,有了cookie,服务器才能知道刚才是这个用户登录了网站,才会给予客户端访问一些页面的权限. 用浏览器 ...
Python模拟登陆新浪微博
本文转自:http://blog.csdn.net/andrewseu/article/details/48730735 前几天想在学校论坛上淘一个二手蓝牙鼠标,没有时间盯着论坛就写了Python程序 ...
使用selenium模拟登陆新浪微博
1.selenium基本使用 1.selenium安装及基本操作 selenium是一个自动化测试工具,它支持各种浏览器,包括Chrome,Safari,Firefox等主流界面浏览器驱动,也包括Ph ...

Scrapy中用cookie模拟登陆新浪微博

Scrapy中用cookie模拟登陆新浪微博相关推荐

最新文章

热门文章