爬知网验证码图片踩坑记录

最近刚开始学习爬虫，就想着去爬一些网站的验证码，练习一下。在成功爬取了七万多张学校网站的验证码之后，又想着去爬知网下载验证码，但是由于没有学过网站知识，遇到了知网的验证码图片链接，长这样：

https://worldwide.espacenet.com/captchaChallengeGenerator?rnd=1

我当时想都没想，直接开了50个进程开始下载，没想到，瞬间就结束了，去看文件，一个都没有。。。。。

然后去Google查了一下才发现，这种链接里面没有有效的图片后缀，然后又看了一下自己的请求头的Accept是默认的*/*，所以可以将headers写成这样就行：

head = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36","accept": "image/webp,image/apng,image/*,*/*;q=0.8","accept-encoding": "gzip, deflate, br","accept-language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7,ja;q=0.6","cookie": ""}

然后就能愉快地爬取验证码了

爬知网验证码图片踩坑记录相关推荐

Smb协议实现内网共享目录文件处理及踩坑记录
Smb协议实现内网共享目录文件处理及踩坑记录一.业务场景公司内网环境,有部分比较古老的业务数据保存在一台windows服务器的共享目录里面.现在需要操作这个windows服务器的共享目录来上传下载 ...
Android 实现全屏截图、剪裁图片、分享图片至其他应用进程功能（踩坑记录）
Android 实现全屏截图.剪裁.分享功能项目中需要用到截图分享的功能,特此写下查询资料过程中的踩坑记录. android 26以上,google 官方文档支持 PixelCopy 实现截图效 ...
日常踩坑记录-汇总版
开发踩坑记录,不定时更新心得 RTFM 严谨的去思考问题,处理问题严格要求自己的代码编写习惯与风格注意单词拼写 20200207 mybatis plus 自带insert插入异常 sql i ...
数据标注平台（CVAT）安装及踩坑记录
目录一.CVAT安装 step1 安装docker step2 获取权限 step3 获取权限 step4 克隆cvat源代码 step5 构建docker镜像 step6 运行Docker容器这一 ...
YOLOv5在无人机/遥感场景下做旋转目标检测时进行的适应性改建详解（踩坑记录）...
作者丨略略略@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/358441134 编辑丨极市平台文章开头直接放上我自己的项目代码: https://github.co ...
Mirai qq机器人ubuntu配置踩坑记录
Mirai qq机器人ubuntu配置踩坑记录 intellij配置打包jar ubuntu无界面运行 Mirai GitHub 链接 mirai-github intellij配置我的是Ulti ...
TVM: Deep Learning模型的优化编译器(强烈推荐, 附踩坑记录)
本文作者是阿莱克西斯,原载于知乎,雷锋网(公众号:雷锋网)获得授权转载. (前排提醒,本文的人文内容部分稍稍带有艺术加工,请保持一定的幽默感进行阅读) 关注我最近想法的同学应该知道我最近都在把玩 TV ...
AirSim学习和踩坑记录（不定时更新）
版权声明:本文为博主原创文章,遵循Creative Commons - Attribution-ShareAlike 4.0 International - CC BY-SA 4.0版权协议,转载请附 ...
django踩坑记录(4)
0x0d.如何设置不同登录方式,显示不同的标签及对应的form表单的字段?下面代码超级多细节,真的值得看描述的情景如下图: 代码实现思路:两个不同的登录方式是:账号密码登录和使用短信验证码登录. 1 ...

爬知网验证码图片踩坑记录

爬知网验证码图片踩坑记录相关推荐

最新文章

热门文章