装饰器应用之校验代理IP

使用代理IP，是数据爬取过程中最常用的反爬手段之一。
有经费的，可以订购代理ip提供商的套餐使用，没有的也不担心，许多网站通常都提供了较多的免费代理来吸引客户。我们可以抓取这些免费的代理，来构建自己的代理IP池。
将代理抓取到本地后，因为免费的时效性都较短，所以需要进行二次校验。这一步，你可以定义一个通用的函数，或者，使用更简洁高效的装饰器。
校验分两步：

正则校验代理ip的格式是否正确
requests添加代理请求目标网站，检验代理是否有效

实例如下：

from functools import wraps
import re
import requests
#目标网址
CHECK_URL = 'https://www.baidu.com'
#请求头
HEADERS = {'User-Agent': 'Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11'}
#请求超时设置/秒
TIMEOUT = 5'''ip格式检测装饰器
:param ip:代理ip
:param port:代理端口
'''
def check_proxy_format(func):@wraps(func)def format_wrapper(*args,**kwargs):ip,port = args[:2]if re.match('[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$',ip) and (port>0 and port<65535):return func(*args,**kwargs)print('代理：%s:%d 格式错误'%(ip,port))return format_wrapper'''代理有效性检测装饰器:param ip:代理ip:param port:代理端口:param ptype:协议类型
'''
def check_proxy_valid(func):@wraps(func)def valid_wrapper(*args,**kwargs):ip, port,ptype = argsproxy = {ptype:'{}://{}:{}'.format(ptype,ip,port)}try:requests.packages.urllib3.disable_warnings() #忽略告警resp = requests.get(CHECK_URL,headers=HEADERS,proxies=proxy,verify=False,allow_redirects=False,timeout=TIMEOUT)if resp.status_code==200:print('代理:',ip+':'+str(port),'有效')return func(*args,**kwargs)except Exception as e:print('代理：%s:%d无效'%(ip,port))return valid_wrapper@check_proxy_format
@check_proxy_valid
def test(ip,port,ptype):return Truetest('218.60.8.99',3129,'http') #格式正确测试用例 1
test('118.30.82.54',3629,'http') #格式正确测试用例 2
test('2523.60.8.99',5179,'http')#格式错误测试用例

结果：

代理: 218.60.8.99:3129 有效
代理：118.30.82.54:3629无效
代理：2523.60.8.99:5179 格式错误

使用了多重装饰器进行装饰，不太懂的建议看下博主之前的文章。

博主其他文章推荐：

[1] 【python实用特性】- 迭代、可迭代对象、迭代器

[2] 【python实用特性】- 列表生成式

[3] 【python实用特性】- yield生成器

[4] 【python实用特性】- 装饰器

[5] 【Matplotlib】-自定义坐标轴刻度完成20万+数据的可视化

[6] Python+selenium实现自动爬取实例

[7] python爬取豆瓣Top250-改进版

[8] requests设置请求头、代理

[9] requests使用session保持会话

装饰器应用之校验代理IP相关推荐

【设计模式】--- 装饰器模式、静态代理模式和动态代理模式
文章目录 1 引子 2 业务场景介绍 3 静态代理模式 4 装饰器模式 5 动态代理模式 5.1 Proxy --- 具体的代理对象生成组件 5.2 InvocationHandler --- 封装被 ...
Python爬虫热点项目之实现代理IP池（IP proxy pool）
代理池概述代理池就是由多个稳定可用代理IP组成的池子.用来应对ip反爬,而网上的免费代理稳定可用的极少,更有甚者连收费的也不都是稳定可用. 开发环境: windous,python3,sublime ...
NodeJs从零构建代理ip池（一）介绍
<原文地址> 本系列主要讲解如何从零实现一个简单的代理 IP 池,教你从 Node 爬虫入门到融会贯通. 跟着本系列教程,将会学到一个完整 NodeJs 项目的开发到部署的一整套流程. 零 ...
Python3获取代理IP
操作步骤分析代理IP网站页面结构. 请求代理IP网站,解析并获取代理IP. 校验代理IP的可用性. 保存可用代理IP到文件中. 页面解析分析https://www.xicidaili.com/nn ...
Python scrapy设置代理ip
应用scrapy爬虫的时候,经常遇到ip被封的问题,直接导致无法获取数据,所以要使用代理ip. 在网上有很多大神写的案例,我选择了一个进行使用,不知道是ip的原因还是我写的有问题,还是会报错,但是思路 ...
create-react-app 配置scss,ant-design，装饰器，代理，node支持最新语法，express es6 后端，链接mongodb...
新建一个项目 npm install -g create-react-app create-react-app my-app cd my-app npm i npm start # 或者,npm 5. ...
适配器模式、代理模式、装饰器模式使用场景区别
适配器模式适配器模式是提供和原先接口不一样的接口,做一个二次转换,原来的接口还是可以继续使用的. 代理模式原先的接口是不能访问的(无权使用),只能通过代理来去访问原先接口.代理过程中可能会对原有接 ...
装饰器模式和代理模式的区别
转载自装饰器模式和代理模式的区别学习AOP时,教材上面都说使用的是动态代理,可是在印象中代理模式一直都是控制访问什么的,怎么又动态增加行为了,动态增加行为不是装饰器模式吗?于是找了很多资料,想弄清 ...
FlexyPool如何同时支持连接代理和装饰器
代理人 FlexyPool监视连接池使用情况,因此需要拦截连接关闭方法调用. 为了简单起见,第一个版本为此目的依赖动态代理: private static class ConnectionInvoca ...

装饰器应用之校验代理IP

装饰器应用之校验代理IP相关推荐

最新文章

热门文章