基于host的http代理--hproxy
无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。
文章目录
- 与普通代理的区别
- 实现方式
- 接收请求
- 代理请求
- 插件机制
- 应用场景
- 后期功能增强
说到代理,大多数情况我们都会想到通过浏览器设置的正向代理,以及类似nginx的反向代理;而实际上除此之外还有一种基于host方式实现的代理。
本文主要讲述,如何实现一个基于host方式的http代理,以及它与普通代理之间的区别。这种方式的代理主要可以应用于哪些实际的测试场景。
与普通代理的区别
所谓的普通代理,就是我们日常会用到的那种代理,通常需要客户端本身支持,使用时对客户端进行代理信息配置。最常见的就是对浏览器、curl等客户端配置代理,一般主要用来翻墙的!
而host代理则不是主流的代理方式,它的特点是通过设置host就能实现代理,而不需客户端本身支持,相对应用的访问更广一些。下面我们就来逐一对比下它们的具体区别:
对比项 | 普通代理 | HOST代理 |
---|---|---|
需要客户端支持 | 是 | 否 |
设置方式 | 配置客户端 | 配置HOST |
支持透明代理 | 是 | 是 |
支持绝对路径 | 是 | 否 |
支持非80端口 | 是 | 否 |
实现方式 | socket | http |
URL路径支持 | 绝对路径 | 相对路径 |
代理服务与客户端同机 | 支持 | 不支持 |
代理配置方式 | 域名配置灵活 | host配置不灵活 |
通过对比可以发现它们都能满足基本的HTTP代理功能,主要区别在于适用的场景有所不同;普通代理只要客户端本身支持基本上什么请求都可以代理,HOST代理只要请求是80/443端口都可以代理。
实现方式
接收请求
实现一个HOST代理是非常简单的,你只需要基于一个现成的WEB框架,比如:Flask,Tornado;再加上一个url请求框架即可,比如:requests。而首先你得实现一个可以接手任意URL路径的请求处理函数,如下:
from werkzeug.routing import BaseConverter
from flask import Flask, request, jsonifyclass RegexConverter(BaseConverter):def __init__(self, url_map, *args):super(RegexConverter, self).__init__(url_map)self.url = url_mapself.regex = args[0] # 正则的匹配规则def to_python(self, value):return valueapp = Flask(__name__, static_url_path='/do_not_use_this_path__')
app.url_map.converters['re'] = RegexConverter@app.route('/<re(r".*"):path>')
def proxy(path):url = request.base_urlquery = request.argsmethod = request.methodheaders = request.headersform_data = request.formbody = request.datafiles = request.filespayload = {'path': f'/{path}','url': url,'method': method,'headers': dict(headers),'query': query,'form_data': form_data,'body': body.decode('utf-8'),'files': files}return jsonify(payload)if __name__ == '__main__':app.run(host='0.0.0.0', port=80)
启动这个web服务之后,只要在host文件中配置一个指向该服务所在机器的IP和目标域名映射即可。比如:
# host文件添加一个映射
10.0.0.1 www.baidu.com
之后,就可以在浏览器访问http://www.baidu.com
这个网址了,路径内容和参数随便输,它都会完整把你请求的信息给返回来,类似一个镜像服务。效果如下:
代理请求
目前来说,我们已经完成HTTP代理的一半功能了,剩下的就是如何去发送获取到的HTTP请求,之后在把请求响应内容组装好,再发回给浏览器或客户端。首先是组装要发送的请求,样例代码如下:
class METHOD:GET = 'GET'POST = 'POST'PUT = 'PUT'DELETE = 'DELETE'HEAD = 'HEAD'OPTIONS = 'OPTIONS'def warp_request_data(payload):""":param payload: {'path': path,'url': url,'method': method,'headers': dict(headers),'query': query,'form_data': form_data,'body': body.decode('utf-8'),'files': files}:return:"""send_data = {'method': payload['method'], 'url': payload['url'],'headers': payload['headers'], 'data': None, 'files': None}if payload['method'] in (METHOD.GET, METHOD.HEAD, METHOD.OPTIONS):send_data['data'] = payload['query']elif payload['method'] in (METHOD.POST, METHOD.DELETE, METHOD.PUT):if payload['query']:payload['url'] = f"{payload['url']}?{urllib.parse.urlencode(payload['query'])}"if payload['form_data']:ct = payload['headers'].get('Content-Type')if 'application/x-www-form-urlencoded' in ct:send_data['data'] = payload['form_data']elif 'multipart/form-data' in ct:send_data['data'] = payload['form_data']send_data['files'] = payload['files']elif payload['body']:send_data['data'] = payload['body']elif payload['files']:send_data['files'] = payload['files']return send_data
接着,通过requests
发送组装好的请求数据内容。方法如下:
from requests import request as senderdef send_request(req):return sender(req['method'].lower(), req['url'], headers=req['headers'],data=req['data'], files=req['files'])
最后,把获取到的响应进行再次组装,便于主程序直接返回内容给浏览器或客户端。代码如下:
def warp_response_data(rep):body = rep.contentif 'Transfer-Encoding' in rep.headers: # 不支持chunkdel rep.headers['Transfer-Encoding']rep.headers['Content-Length'] = len(body)if 'Connection' in rep.headers: # 不支持keep-alivedel rep.headers['Connection']if 'Content-Encoding' in rep.headers: # 不支持gzipdel rep.headers['Content-Encoding']rep.headers['Server'] = 'host proxy/0.1' # 修改服务器信息return {'code': rep.status_code,'headers': dict(rep.headers),'body': body}
同时,需要在http处理的主函数中添加对http请求的代理操作。最后的http处理主函数新增内容如下:
@app.route('/<re(r".*"):path>')
def proxy(path):req = Action.warp_request_data(payload)rep = Action.send_request(req)ret = Action.warp_response_data(rep)return ret['body'], ret['code'], ret['headers']
插件机制
目前为止完成了这么多功能之后,一个http的代理就已经初步完成了。只是目前仅仅是做了代理,但是没有任何的作用。因为我们不能对它进行任何操作。要让它变得有意义就得添加插件机制,让用户可以对代理的请求进行处理和操作。
首先,定义一个插件类,用于注册和执行插件内容。代码如下:
class Plugins:def fire(self, context): # 插件事件触发for func in self.events:func(context)def register(self, func): # 插件事件注册self.events.append(func)class PRE_PROXY(Plugins):def __init__(self):self.events = []class POST_PROXY(Plugins):def __init__(self):self.events = []pre_proxy = PRE_PROXY()
post_proxy = POST_PROXY()def before_proxy(func): # 注册触发代理前装饰器pre_proxy.register(func)return funcdef after_proxy(func): # 注册触发代理后装饰器post_proxy.register(func)return func
同时,也要在http主函数中添加插件函数的调用,修改后的代码如下:
...context = {}req = Action.warp_request_data(payload)context['request'] = reqpre_proxy.fire(context) # 触发代理前事件rep = Action.send_request(req)ret = Action.warp_response_data(rep)context['response'] = retpost_proxy.fire(context) # 触发代理后事件
...
最后,在同目录下新建一个插件脚本文件script.py
。其内容如下:
from .plugins import before_proxy, after_proxy@before_proxy
def before(context):print(context)@after_proxy
def after(context):print(context)
这个脚本内容非常的简单,导入2个注册装饰器分别用来注册代理前和代理后的事件。注册函数可以接收到一个请求和响应的上下文对象参数,这里仅仅是打印了出来。
当然,插件还可以做很多其它的事情,比如:过滤特定url并保存请求信息;修改请求和响应信息内容等。完整项目代码请关注公众号并回复hproxy
即可!
应用场景
这类http代理主要应用的场景一般多为测试或者开发,日常生活中翻墙还是要是普通代理。主要可以用于辅助测试,比如:mock系统,api接口测试等。
对于mock系统,可以用来录制mock内容,尤其是针对服务端请求第三方接口的请求录制。比如:
- 录制调用第三方银行的接口请求,作为mock内容
- 选择性的mock同域名下的部分URL请求,其它URL则透传
用于api自动化测试,可以直接录制对应接口的API请求,用于快速生成自动化测试用例。当然还可以用于安全测试,篡改指定的http请求内容。
后期功能增强
虽然目前该demo程序已经可以开始用于辅助测试工作了,但是想要更加的易用,还有很多的特性需要支持。
- 协程支持
- 过滤功能
- https支持
- websocket支持
- keep-alive支持
- chunk支持
获取更多关于Python和测试开发相关的文章,请扫描如下二维码!
基于host的http代理--hproxy相关推荐
- python如何基于redis实现ip代理池
这篇文章主要介绍了python如何基于redis实现ip代理池,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 使用apscheduler库定时爬取i ...
- 基于子类的动态代理:
基于子类的动态代理: 提供者:第三方的CGLib,如果报asmxxxx异常,需要导入asm.jar. <dependency> <groupId>cglib</group ...
- oracle ebs 基于host(主机文件)并发程序的开发,Oracle EBS 基于Host(主机文件)并发程序的开发...
您可以将程序命名为 .prog,其中 是在"可执行并发程序"窗口的"执行文件"字段中输入的值.然后,使用执行文件名(无扩展名)创建与 fndcpesr 的符号链 ...
- Spring框架----基于子类的动态代理
上节,我们提到了基于接口的动态代理. 基于接口的动态代理 来完成通过中间代理商,消费者从生产商那里购买产品的功能. 这种动态代理要求第三方jar包的支持. cglib依赖,版本是2.1_3 基于子类的 ...
- Spring框架----基于接口的动态代理
由我们前面对代理的分析 对代理的分析 有生产商,销售人员和消费者这3个角色,销售人员是中间代理商.代理销售和售后的工作. 而在刚开始的时候,我们并没有销售人员.根据这样的思路,我们写出以下代码 接口I ...
- 基于子类的动态代理(使用CBl工具)
基于子类的动态代理 要求: 1.被代理类不能是最终类,不能被finaly修饰 提供者:第三方 CGlib ...
- ProxyPool proxy-pool: java 基于springboot框架获取代理ip
PROXY-POOL: java 基于springboot框架获取代理ip
- 第六篇 - 手写基于接口实现动态代理
Github源码下载地址:https://github.com/chenxingxing6/sourcecode/tree/master/code-proxy 一.前言 我们知道常见的动态代理有两种实 ...
- 基于R语言的代理模型(高斯过程、贝叶斯优化、敏感性分析、异方差性等)高级技术应用
基于R语言的代理模型(高斯过程.贝叶斯优化.敏感性分析.异方差性等)高级技术应用 直播时间:10月30日-10月31日.11月6日-7日(4天+1周辅导练习) (上午9:30-12:00 下午14: ...
- 基于fiddler插件的代理扫描系统:越权漏洞检测
基于fiddler插件的代理扫描系统:越权漏洞检测 # 概述 ##越权检测原理 ###系统架构 #基本步骤 待优化与工具联动 工具联动: 其他漏洞检测 # 概述 随着现在企业安全水平的提高, 单独依赖 ...
最新文章
- 程序员必知的7种软件架构模式
- 较全的jdom使用教程
- lua学习笔记之日期时间
- 神经网络反向传播的数学原理
- ajax连mysql数据库_AJAX调用mysql数据库简单例子
- php连接MYSQL(1)
- 电脑罗盘时钟代码_苹果电脑怎么设置数字时钟屏保 Word Clock for Mac安装教程
- 计算机系统集成难点,企业MES实施中存在的难点及建议
- 电脑重启bootmgr_电脑系统启动:显示0xc0000428怎么办
- 吴军:数学,为人生之题解出漂亮的答案
- 餐饮小票在线生成_意大利电子小票发送截止日即将来临
- .Net Core报“‘GB2312‘ is not a supported encoding name. For information on defining a custom encod”的错误
- 电脑qq传到我的android文件在哪里,手机QQ传文件到我的电脑功能(QQ数据线)的使用方法...
- excel自动求和_Excel里面SUM函数增加行后数据自动加进去的方法
- 转一篇Java基础的文章,比较有深度的,就转来收藏了
- TCGA肿瘤数据分析专题
- kubectl认证 授权 准入控制
- win10使计算机进入睡眠状态什么意思,win10如何进入睡眠模式 电脑睡眠模式设置教程...
- vue遍历输出列表中以逗号隔开的字符串
- dba怎么报考_2019年报考DBA需要什么条件,要求是不是很高?
热门文章
- 荣耀3x android 5.0,华为荣耀3X畅玩版_EMUI2.3_Android4.4_完整
- php 微信新增永久素材
- VBA-使用inputbox函数
- 城镇化率与世界平均水平相当 质量不高问题突出
- 新型冠状病毒数据可视化分析
- 【数据分析】⚠️走进数据分析 2⚠️ 爬虫简介
- IDF实验室之牛刀小试
- 统计数据收集方式与收集方法
- [单片机框架][bsp层][N32G4FR][bsp_flash] flash配置和使用
- Python随机函数