mitmproxy 学习

安装

源码地址：https://github.com/mitmproxy/mitmproxy

安装mitmproxy的4.0.4版本

安装后有3个命令行工具：mitmproxy, mitmdump, mitmweb

mitmproxy：交互式；查看流量数据(请求与响应)；执行自定义脚本

mitmdump：执行自定义脚本，脚本在Mitmproxy中叫做Addon

使用mitmdump --version查看版本信息

使用mitmweb直接启动web页面

需要把SSL抓包工具的选项给去掉。

二、手机抓包

手机连接电脑代理和ip，同fiddler（如果命令是mitmweb -p 8889指定的端口号，要修改端口）

手机端打开http://mitm.it/ 安装https证书就可以抓https请求

三、mitmdump

mitmdump -w outfile：把截获的信息保存到文件

mitmdump -s script.py：执行python脚本

四、日志

mitmdump提供了专门的日志输出功能，可以设定不同级别以不同颜色输出结果，我们可以把脚本修改成以下内容：

from mitmproxy import ctx
def request(flow):
flow .request . headers['User-Agent'] ＝'mitmProxy'
ctx.log.info(str(flow.request.headers))
ctx.log.warn(str(flow.request.headers))
ctx.log.error(str(flow.request.headers))
在这里调用了ctx模块，它有一个log功能，调用不同的输出方法就可以输出不同颜色的结果，以方便我们做调试。例如：info()方法输出的内容是白色的，warn()方法输出的内容是黄色的，error（）方法输出的内容是红色的。

五、python脚本

【request】

request.url、headers、cookies、host、method、port、request.scheme：请求链接、请求头、请求cookies、请求host、请求方法、请求端口、请求协议这些内容。

【response】

response.status_code、headers、cookies、text：响应的状态码status_code、响应头headers、cookies、响应体text

1、脚本编写的两个条件

1.1、编写一个 py 文件供 mitmproxy 加载，文件中定义了若干函数，这些函数实现了某些 mitmproxy 提供的事件，mitmproxy 会在某个事件发生时调用对应的函数
1.2、编写一个 py 文件供 mitmproxy 加载，文件定义了【变量 addons】，addons 是个数组，每个元素是一个类实例，这些类有若干方法，这些方法实现了某些 mitmproxy 提供的事件，mitmproxy 会在某个事件发生时调用对应的方法。这些类，称为一个个 addon。
基本模板为

from mitmproxy import http, ctx

import json

class xxx:

def xxx:

def xxx

addons = [

xxx() //类名的加载，也可以定义多个类，然后以数组的形式添加，进行加载

]

2、事件

这里引入事件的概念，是方便我们理解我们在某些事件中做出的处理，事件是针对生命周期而言的。
针对不同的生命周期分为5类，不同的生命周期是指在哪一个层面看待事件（http生命周期、 Websocket 生命周期、TCP 生命周期、网络连接生命周期等。主要是http生命周期用的多些）。

2.1、针对http请求的生命周期

http请求–>htpp响应的过程
来自客户端的 HTTP CONNECT 请求。这里的连接指的是客户端跟代理服务器建立的连接。CONNECT 请求不会触发request、response的其他http事件。
客户端的 HTTP 请求的头部被成功读取。这个时候flow的request的body部分内容是空的
客户端的 HTTP 请求被成功完整读取。
服务端的 HTTP 响应的头部被成功读取。此时 flow 中的 response 的 body 是空的。
服务端端的 HTTP 响应被成功完整读取。

3、客户端请求修改

3.1、修改请求针对域名，替换请求链接。

from mitmproxy import ctx, http

import json

class Modify:

def request(self, flow): #替换请求链接

if flow.request.url.startswith("http://spay1.shuqireader.com/api/ios/info?method=priceList"):

#有分享

flow.request.url = "http://activity.x.xxx.xx.cn/share?id=2653&useShare=1"

ctx.log.info("修改链接")

addons = [

Modify()

]

3.2、修改cookie

from mitmproxy import ctx, http

import json

class Modify:

def request(self, flow):

#替换cookie，两种匹配请求链接的方式

# if flow.request.host == "xxx.x.xxx.com.cn":

if flow.request.url.startswith("https://xxx.x.xxx.com.cn/"):

print(flow.request.url)

print(flow.request.cookies)

flow.request.cookies["_testCookie1"] = "xxx-91"

flow.request.cookies["testCookie2"] = "123"

req = flow.request.cookies["_testCookie1"]

ctx.log.info(req)

addons = [

Modify()

]

3.3、修改请求参数

from mitmproxy import ctx, http

import json

class Modify:

def request(self, flow):

if flow.request.url.startswith("http://xxx.x.xxx.com.cn/customActivity/bookcode/doJoin"):

ctx.log.info("modify request form")

if flow.request.urlencoded_form:

flow.request.urlencoded_form["code"] = "11111"

else:

flow.request.urlencoded_form = [

("actId", "20727"),("nick","name")

]

addons = [

Modify()

]

4、响应修改

4.1、修改响应的状态码

from mitmproxy import ctx, http

import json

class Modify:

def response(self, flow):

if flow.request.url.startswith("http://baidu.com.cn"):

flow.response = http.HTTPResponse.make(404)

ctx.log.info("modify status code")

addons = [

Modify()

]

4.2、修改响应的消息体-直接修改响应字段

from mitmproxy import ctx, http

import json

class Modify:

def response(self, flow):

if flow.request.url.startswith("https://xxx.x.xxx.com.cn/activityInfo/getPrizeInfo=="):

//获取响应的json字符串，转成python对象进行解析和修改

response = json.loads(flow.response.get_text())

response['limitCount'] = 1

//修改完成后，奖python对象转成json字符串，set进请求的响应体重发送给客户端

flow.response.set_text(json.dumps(response))

ctx.log.info('modify limitCount')

addons = [

Modify()

]

4.3、修改响应的消息体-通过读取json文件的字符串返给客户端

from mitmproxy import ctx, http

import json

class Modify:

def response(self, flow):

if flow.request.url.startswith("https://xxx.x.xxx.com.cn/activityInfo/getPrizeInfo=="):

//读取文件，在当前文件路径下执行脚本，否则需要写文件的绝对路径；不然会找不到该json文件

with open('getStatus.json','rb') as f:

//从json文件中读取数据成python对象

res = json.load(f)

//将读取的python对象转成json字符串发送给客户端

flow.response.set_text(json.dumps(res))

ctx.log.info("modify order status")

addons = [

Modify()

]

最终没有弄明白这个请求，把环境部署好了，有以下优点：

1 、debug python代码的时候，用mitmproxy的时候，ssl的模式不需要去掉

2、抓包的页面属于网页版，轻量级，可视化效果比charles好很多。

3 mitmproxy号称抓包工具的老大和mock高手，我却还未领悟到，后续有缘再相聚吧！

mitmproxy 学习相关推荐

mitmproxy的安装与使用学习记录(二)
学习目标: (一)使用openssl工具获得系统证书哈希值 (1)openssl工具的下载与安装 (2)openssl工具获得哈希值 (二)ADB的安装 (三)使用ADB命令将文件推送至模拟器 (四) ...
爬虫学习笔记（二十三）—— Appium+Mitmproxy
文章目录一.工具 1.1.手机投屏工具 1.2.fiddler.mitmproxy和APPium 二.案例:火山急速版视频抓取 2.1.视频链接 2.2.代码实现 2.2.1.Appium自动化翻页 ...
爬虫学习笔记（二十二）—— Mitmproxy
文章目录一.简介和安装 1.1.概念和作用 1.2.安装 1.3.工具介绍二.设置代理 2.1.PC端设置代理 2.2.PC端安装证书 2.3.移动端设置代理三. mitmdump 3.1.插件 ...
从零开始学习mitmproxy源码阅读
作为抓包四小龙之一的mitmporxy竟然是开源的,而作为开源爱好者的我们,就应该看看其源码.虽然我之前挖了很多看源码的坑,但是这个mitmproxy的坑,我依然不保证填上. 我的主要目的不是为了读懂 ...
【学习小记1】Python mitmproxy 监控浏览器
记录原因: 对于做爬虫练习的时候部分网站获取不到内容,所以想到了使用中间人来获取网站 Response mitmproxy 是什么? mitmproxy 简单来说就是一个代理,相当于让你多走了一个转接 ...
mitmproxy配置代理后 APP连接不到网络 XPosed安装
本文仅供学习交流使用,如侵立删! mitmproxy配置代理后 APP连接不到网络配置mitmproxy代理后,有些APP会出现连接不到网络的情况原因:SSL证书问题 Android5.1系统版本 ...
python3 爬虫实战：mitmproxy 对接 python 下载抖音小视频
From:https://blog.csdn.net/Fan_shui/article/details/81461253 一.前言前面我们已经用 appium 爬取了微信朋友圈,今天我们学习下 mi ...
一个Python爬虫工程师学习养成记
大数据的时代,网络爬虫已经成为了获取数据的一个重要手段. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道 ...
python获取app信息的库_Python学习教程：另辟蹊径，appium抓取app应用数据了解一下...
作为爬虫工程师,没有价格不知道selenium的. 什么是selenium? Selenium原本是一个用于Web应用程序自动化测试工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一 ...

mitmproxy 学习

mitmproxy 学习相关推荐

最新文章

热门文章