利用Python轻松搞定数字英文验证码,搞定Python爬虫反爬
Chapter15 | 验证码识别
- 一、模拟登录知乎
- 二、光学字符识别
- 1、pytesseract
- 2、验证码的识别
- 3、图像处理
- 3.1、二值图像
- 3.2、灰度图像
- 3.3、索引图像
- 3.4、处理实例
- 4、处理复杂验证
很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!??¤
QQ群:961562169
验证码(CAPTCHA)的全程为全自动区分计算机和人类的公开图灵测试
从全程可以看出:验证码用于测试用户是否为真实人类
以识别知乎验证码为例,介绍简单的验证码处理
一、模拟登录知乎
对于比较简单的字符型验证码,可以尝试用
pytesseract
库识别这些验证码
pytesseract
是一款用于光学字符识别的Python
第三方库,可以从图片中识别出其中嵌入的文字
我们可以看到有些验证码是识别不出来的。
- 随着计算能力和机器学习的发展,涌现出很多新型验证码,使得验证码处理越来越难。如下图:
- 验证码的识别是一个专门的研究领域,对于普通用户来说,要采用合适的抓取策略,尽量避免验证码的出现。
二、光学字符识别
光学字符识别(
Optical Character Recognition,OCR
) 用于从图像中抽取文本
我们使用开源的Tesseract OCR
引擎,该引擎最初由惠普公司开发,目前由
在验证码识别中,使用Python
的封装版本pytesseract
1、pytesseract
官网:https://pypi.python.org/pypi/pytesseract
函数:image_to_string()
用法:print(pytesseract.image_to_string(Image.open(“test.png”)))
pytesseract
是一个基于Google‘s Tesseract-OCR的独立封装包pytesseract
功能是识别图片文件中文字,并作为返回参数返回识别结果pytesseract
默认支持tiff、bmp格式图片,只有在安装PIL之后,才能支持jpeg、gif、png等其他图片格式
PIL
提供了通用的图像处理功能,以及大量有用的基本图像操作,比如图像缩放、裁剪、旋转、颜色转换等。
利用PIL
中函数,我们可以从大多数图像格式的文件中读取数据,然后写入最常见的图像格式文件中
PIL
中最重要的模块为Image
我们要先安装PIL:pip install Pillow-7.1.1-cp36-cp36m-win_amd64.whl
PIL的open()函数用于创建PIL图像对象
下面开始进行测试:
from PIL import Image
from PIL.ImageShow import show
# 读取图片
img = Image.open(".\\3.png")
# 显示图片
show(img)
下图为测试运行的图片
- 输出图片格式
img.format
- 输出图片尺寸
img.size
- 输出图片类型
img.mode
# 输出图片的格式,尺寸以及图像类型
print(img.format,img.size,img.mode)
- 生成缩略图
img.thumbnail()
# 生成缩略图
img.thumbnail((128,128))
# 显示图片
show(img)
要旋转一张图片,可以使用逆时针方式表示旋转角度,然后调用
rotate()
函数
当旋转角度为90°,180°,270°的时候可以用img.transpose(Image.ROTATE_90)
其他角度用rotate()
# 逆时针旋转45°
rorate1 = img.rotate(45)
show(rorate1)
# 逆时针旋转90°
rorate1 = img.transpose(Image.ROTATE_90)
show(rorate2)
左右对换 img.transpose(Image.FLIP_LEFT_RIGHT)
上下翻转 img.transpose(Image.FLIP_TOP_BOTTOM)
# 左右对换
rorate3 = img.transpose(Image.FLIP_LEFT_RIGHT)
show(rorate3)
# 上下翻转
rorate4 = img.transpose(Image.FLIP_TOP_BOTTOM)
show(rorate4)
图像的颜色转换可以使用
convert()
方法来实现。要读取一幅图像,并将其转换成灰色图像,只需要加上convert('L')
# 图像转换为灰度
grey = img.convert('L')
show(grey)
Python
规定左上角为(0,0)的坐标点,box由一个4元组(左,上,右,下)定义,表示为坐标为:(left,upper,right,lower),最后的两个数字必须比前面两个要大
# 裁剪如片 box为裁剪图片的区域范围
box = (30,30,100,100)
region = img.crop(box)
show(region)
2、验证码的识别
from PIL import Image
from PIL.ImageShow import show
import pytesseract
# 读取图片
img = Image.open(".\\2.png")
# 显示图片
show(img)
print(pytesseract.image_to_string(img))
3、图像处理
在用
pytesseract
进行验证码识别之前,我们首先需要对验证码图片进行预处理,尽量取出噪声,而只保留有验证码信息的像素
pytesseract
基本上无法识别那些没有经过预处理的验证码图片
下面为一些基本的验证码预处理方法:
- 通常图像处理的流程如下图,验证码的完整预处理为步骤二
在实际中,我们通常的预处理步骤为:
1、灰度化
2、二值化
3、去噪
- 图像处理一般指数字图像处理。数字图像是指工业相机、摄像机、扫描仪等设备经过摄像得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值
- 在计算机中,按照颜色和灰度的多少可以将图像分为二位图像,灰度图像、索引图像和真彩色
RGB
图像四种基本类型。大多数图像处理软件和python
库都支持这四种类型的图像
3.1、二值图像
一幅二值图像的二维矩阵仅有0,1两个值构成。
“0”代表黑色,“1”代表白色
由于每一个像素(矩阵中每一个元素)取值仅有0,1两种可能,所以计算机中二值图像的数据类型通常为1个二进制位
3.2、灰度图像
灰度图像矩阵元素的取值范围通常为[0,255]。因此其数据类型一般为8位无符号整数的(int8),这就是人们经常提到的256灰度图像
0表示纯黑色,255表示纯白色,中间的数字从小到大表示由黑到白的过渡色
二值图像可以看成是灰度图像的一个特例
3.3、索引图像
索引图像的文件结构比较复杂,出去存放图像的二维矩阵外,还包括一个称之为颜色索引矩阵的MAP的二维数组
MAP的大小由存放图像的矩阵元素值域决定,如矩阵元素值域位[0,255],则MAP矩阵的大小为256x3,用MAP=[RGB]表示
MAP中每一行的三个元素分别指定该行对应颜色的红、绿、蓝单色值
3.4、处理实例
import time
import requests
from PIL import Image
from PIL.ImageShow import show
import pytesseract
# 读取图片
img = Image.open(".\\2.png")
show(img)
gray = img.convert('L')
show(gray)
for i in range(1,100,9):bw = gray.point(lambda x:0 if x<i else 255)show(bw)time.sleep(1)
识别验证码并显示
import time
import requests
from PIL import Image
from PIL.ImageShow import show
import pytesseract
# 读取图片
img = Image.open(".\\2.png")
# show(img)
gray = img.convert('L')
# show(gray)
for i in range(1,100,9):bw = gray.point(lambda x:0 if x<i else 255)# show(bw)# time.sleep(1)
print("验证码为:" + pytesseract.image_to_string(img))
print("验证码为:" + pytesseract.image_to_string(gray))
print("验证码为:"+ pytesseract.image_to_string(bw))
利用Python轻松搞定数字英文验证码,搞定Python爬虫反爬相关推荐
- 玩转python轻松过二级 百度网盘,玩转Python轻松过二级
商品详情 商品名称:玩转Python轻松过二级 商品编号:730249916 上架时间:2020-09-10 18:32:48 编辑推荐 null 内容简介 董付国编著的<玩转Python轻松过 ...
- python 判断是否为数字(整型、浮点型),Python判断字符串是否为数字、浮点数、字母...
前言 在Python中处理字符串的函数比较丰富,有时需要把字符串转化为整形.浮点型等:转换过程中,发现有时会报错,比如字符串"12*76",转换为整形,直接转换int(" ...
- python花数_python交换数字a b怎么用python画花朵
怎么用python画花朵?下面给大家讲解一下具体步骤: 第一步,打开菜单栏,输入idle,打开shell. 第二步,新建一个文件,并命名. 第三步,导入turtle模块,创建一个新窗口用于绘图,再创建 ...
- python爬虫反爬对抗_python爬虫反反爬,你几乎可以横扫大部分 css 字体加密的网站...
你已经知道了对方是 如何自定义字体加密的了 你要想去反反爬 你就要先站在对方的角度去思考问题 有句话这么说来着 "知己知彼,才能那啥" 那么对于像猫眼电影.大众点评等等 那样的 c ...
- python爬虫反爬 css 知乎 专栏_python爬虫反反爬 | 像猫眼电影、大众点评等自定义 css 加密字体怎么破?...
我们上次说了如何建立反反爬 当时还新建一个简单的帅b网页 具体可以戳以下链接 现在你已经知道了对方是 如何自定义字体加密的了 你要想去反反爬 你就要先站在对方的角度去思考问题 有句话这么说来着 &qu ...
- python爬虫反爬机制_浅谈爬虫及绕过网站反爬取机制之Python深度应用
我们中公优就业的老师希望能给那些面临困境的朋友们带来一点帮助!(相关阅读推荐:Python学习就看这里!) 爬虫是什么呢,简单而片面的说,爬虫就是由计算机自动与服务器交互获取数据的工具.爬虫的最基本就 ...
- python大佬教你爬虫反爬:破解雪碧图反爬
前言 我们都知道,HTTP 协议即超文本传输协议,是 Web 应用的基础,HTTP 协议又是基于 TCP 协议的,而 TCP 连接的建立是需要时间和资源的.当网页加载时,会需要下载图片资源,如果有非常 ...
- python爬虫反爬 css 知乎 专栏_反反爬虫系列(四)
过完年,好了,咱们接着更新反反爬虫系列 至于之前有朋友表示出一下1688呀,x宝的反反爬虫 说实在的,阿里系的反爬虫很厉害,我自愧不能搞定. 比如x宝的登录,用了selenium + chrome的朋 ...
- python爬虫反爬-python爬虫--爬虫与反爬
爬虫与反爬 爬虫:自动获取网站数据的程序,关键是批量的获取. 反爬虫:使用技术手段防止爬虫程序的方法 误伤:反爬技术将普通用户识别为爬虫,从而限制其访问,如果误伤过高,反爬效果再好也不能使用(例如封i ...
最新文章
- 爬虫之常见的反爬手段和解决思路
- 带实证明,imshow是能显示数据归一化到0到1的图像的!
- Matlab 实现对 Excel sheet 重命名 合并单元格
- 网易资深Java架构师:java方法的定义和使用
- C++11 关键字default和delete
- 3D Bounding Box Estimation Using Deep Learning and Geometry
- android recyclerview item自适应高度_web前端学习:高度自适应知识点
- 走进start_kernel尾声
- Linux标准化:避免重蹈UNIX的覆辙
- python函数手册pdf_Python参考手册(第4版 修订版) ([美]大卫 M.比兹利) 中文pdf扫描版[102MB]...
- matlab给图片滤波,matlab每日学习 图片滤波
- android判断图片是否模糊,Android 图片模糊 性能总结
- 2020年31省市GDP数据可视化
- 17-统一网关Gateway
- 计算机二级考试用户名怎么查,计算机二级考试成绩查询方法与具体步骤
- qq图的理解以及python的实现
- vue开发银行流水查询系统--基于巨杉数据库
- 用正则表达式替换手机号为星号*的写法
- git 创建分支并上传代码
- linux vnc登陆,vnc登陆,4个步骤教你vnc登陆Linux
热门文章
- 基于C语言实现(WinForm)FIFA球队管理系统【100010337】
- iOS 程序猿们要知道的一些 HTTPS 的事情...
- 全球及中国自洁玻璃行业商业模式分析及投资风险预测2022年版
- python range从大到小_转 python range 用法
- java jgeometry_7.2 在Java中操作几何体
- 华为云IoT亮相厦门国际物联网博览会,智简联接助力行业智能升级
- 监理在信息系统工程中的定位
- Java14 新增record 关键字
- cad文件怎么转换成pdf格式?一键操作的4个方法
- Web安全攻防 渗透测试实战指南2