python qq空间 上传_Python爬虫获取QQ空间信息(上)
开发工具
Python版本:3.6.4
相关模块:
requests模块;
selenium模块;
lxml模块;
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块,并前往:
下载与自己使用的Chrome浏览器版本对应的驱动文件,下载完毕后将chromedriver.exe所在文件夹添加到环境变量中即可。
相关文件
关注公众号“python工程狮”回复‘qq上’获取。
原理简介
本文主要解决QQ空间的登录问题。
其主要思路为:
利用selenium模拟登录QQ空间从而获取登录QQ空间所需的cookie值,这样就可以利用requests模块来抓取QQ空间的数据了。
为什么这么绕?
selenium好久不用,写起来太慢了。而且它本身速度和资源占用等问题一直为大家所诟病。
And 省略无数条理由。
一些细节:
(1)第一次获取cookie之后将其保存下来,下次再登录之前先试试保存的cookie有没有用,有用直接使用就可以了,这样可以进一步节省时间。
(2)抓包分析过程中,可以发现抓取QQ空间数据所需请求的链接都包含g_tk这个参数,这个参数实际上是使用cookie中的skey参数计算获得的,懒得打公式了,直接贴一小段代码吧:
最后:
不抓点数据好像不能证明这篇文章真的有用?
好吧,那就把:
扒下来吧~~~
具体实现过程详见相关文件中的源代码。
使用演示
QQ号(username)和密码(password):
在QQ_Spider.py文件中填写,位置如下图所示:
运行:
在cmd窗口运行QQ_Spider.py文件即可。
结果:
python qq空间 上传_Python爬虫获取QQ空间信息(上)相关推荐
- python 大文件分片上传_Python实现大文件分片上传
转载请注明出处:http://blog.csdn.net/jinixin/article/details/77545140 引言想借着这篇文章简要谈谈WebUploader大文件上传与Python结合 ...
- python访问陌生人qq空间_Python爬虫获取QQ空间信息(上)
开发工具 Python版本:3.6.4 相关模块: requests模块: selenium模块: lxml模块: 以及一些Python自带的模块. 环境搭建 安装Python并添加到环境变量,pip ...
- python qq空间 上传_Python 爬虫监控女神的QQ空间新的说说,实现秒赞,并发送说说内容到你的邮箱...
这个文章主要是在前一篇文章上新增了说说秒赞的功能 前一篇文章可以了解一下 那么,这次主要功能就是 监控女神的 QQ空间,一旦女神发布新的说说,马上点赞,你的邮箱马上就会收到说说内容,是不是想了解一下 ...
- python下载图片并保存_Python爬虫获取图片并下载保存至本地的实例
1.抓取煎蛋网上的图片. 2.代码如下: import urllib.request import os #to open the url def url_open(url): req=urllib. ...
- python 头条 上传_Python+selenium自动化之文件上传
邮箱的主要功能就是邮件消息的收发阅读,之前的文章写了邮件的查收和编写,本篇介绍邮件的附件上传.还是以腾讯企业邮箱为例,进行实际案例操作. 文件上传的实现大体分为两种,一种是input标签,一种非inp ...
- 微信小程序之图片上传、多图上传、头像上传、头像获取、图片上传失败问题解决
小程序用户授权获取用户头像,需点击才可以让用户选择是否授权. 图片上传失败问题解决 图片上传 一定要记得修改合法域名,不然会失败,而且找不到报错信息哟!并且域名采用 https 点击,用户授权,获取用 ...
- y空间兑换代码_Python爬虫实战:QQ空间全自动点赞工具
QQ空间自动点赞 前景提要目标确定分析介绍登陆获取cookie寻找XML寻找可变参数获取第一个空间动态寻找点赞所需的URL寻找可变参数功能提升到秒赞全部代码最后还是希望你们能给我点一波小小的关注.奉上 ...
- python selenium 文件上传_python+selenium 文件上传
前言 文件上传是web页面上很常见的一个功能,自动化成功中操作起来却不是那么简单. 一般分两个场景:一种是input标签,这种可以用selenium提供的send_keys()方法轻松解决: 另外一种 ...
- H5移动端实现仿QQ空间照片上传效果代码
最近在做项目的时候需要实现一个手机端上传图片效果,但是本来想用H5 的 multiple属性进行一次性多图上传,无奈安卓系统兼容性硬伤,暂时找不到兼容安卓网页版的多图上传方案,于是就仿了QQ空间网页版 ...
最新文章
- 各种远程通信协议比较RMI、MINA、ESB、Burlap、Hessian、SOAP、EJB和JMS等
- Arm architecture 第一章
- leetcode算法第9题
- 8G的U盘轻松帮助你安装win7/win8/win10/xp系统
- 线索二叉树原理及前序、中序线索化(Java版)
- swagger导出excel文档_将Swagger2文档导出为HTML或markdown等格式离线阅读
- [转] 前端中的MVC
- 北大保安又双叒…出“传奇”!这次是挑战“天下第一考”
- linux系统挂载NTFS格式文件系统
- Axure高保真web端后台管理系统/垃圾回收分类系统/垃圾回收高保真原型设计 /垃圾分类后台管理系统/垃圾回收分类平台//垃圾回收分类智慧管理系统/订单管理/财务管理/系统管理/库存管理/设备管理
- 量化投资(数据分析)
- AIR切换SDK版本时遇到的问题
- matlab repmat 函数的使用
- 决策树中的过拟合问题
- 编译OpenJDK12:test_json.cpp error C2143 语法错误
- c语言调用库函数,C语言库函数调用文件
- 计算机组成原理 - x86 x64 arm64的区别 - 学习/实践
- java编译命令是什么_JAVA命令行编译及运行
- python-视频爬取到本地
- windows10桌面壁纸的储存地址在哪里