python后台——aiohttp入门
全栈工程师开发手册 (作者:栾鹏)
架构系列文章
aiohttp是python中基于asyncio技术实现的。asyncio可参考https://luanpeng.blog.csdn.net/article/details/81461277
注意: python的异步返回有时是通过异常expection向上冒泡的, 在异步函数中使用try catch有时无法捕获某些异常的, 异常会作为返回结果直接返回给上一层
aiohttp服务器
下面是aiohttp作为服务器端的一个简单的demo。
#!/usr/bin/env python3
import argparse
from aiohttp import web
import asyncio
import base64
import logging
import uvloop
import time,datetime
import json
import requestsasyncio.set_event_loop_policy(uvloop.EventLoopPolicy())routes = web.RouteTableDef()@routes.get('/')
async def hello(request):return web.Response(text="Hello, world")# 定义一个路由映射,接收网址参数,post方式
@routes.post('/demo1/{name}')
async def demo1(request): # 异步监听,只要一有握手就开始触发,此时网址参数中的name就已经知道了,但是前端可能还没有完全post完数据。name = request.match_info.get('name', "Anonymous") # 获取nameprint(datetime.datetime.now()) # 触发视图函数的时间data = await request.post() # 等待post数据完成接收,只有接收完成才能进行后续操作.data['key']获取参数print(datetime.datetime.now()) # 接收post数据完成的时间logging.info('safety dect request start %s' % datetime.datetime.now())result = {'name':name,'key':data['key']}logging.info('safety dect request finish %s, %s' % (datetime.datetime.now(),json.dumps(result)))return web.json_response(result)# 定义一个路由映射,设计到io操作
@routes.post('/demo2')
async def demo2(request): # 异步监听,只要一有握手就开始触发,此时网址参数中的name就已经知道了,但是前端可能还没有完全post完数据。data = await request.post() # 等待post数据完成接收,只有接收完成才能进行后续操作.data['key']获取参数logging.info('safety dect request start %s' % datetime.datetime.now())res = requests.post('http://www.baidu.com') # 网路id,会自动切换到其他协成上logging.info('safety dect request finish %s' % res.test)return web.Response(text="welcome")if __name__ == '__main__':logging.info('server start')app = web.Application()app.add_routes(routes)web.run_app(app,host='0.0.0.0',port=8080)logging.info('server close')
aiohttp客户端
aiohttp的另一个主要作用是作为异步客户端,用来解决高并发请求的情况。比如现在我要模拟一个高并发请求来测试我的服务器负载情况。所以需要在python里模拟高并发。高并发可以有多种方式,比如多线程,但是由于python本质上是没有多线程的,通过底层线程锁实现的多线程。在模型高并发时,具有线程切换和线程开销的损耗。所以我们就可以使用多协成来实现高并发。
我们就可以使用aiohttp来模拟高并发客户端。demo如下,用来模拟多个客户端向指定服务器post图片。
# 异步并发客户端
class Asyncio_Client(object):def __init__(self):self.loop=asyncio.get_event_loop()self.tasks=[]# 将异步函数介入任务列表。后续参数直接传给异步函数def set_task(self,task_fun,num,*args):for i in range(num):self.tasks.append(task_fun(*args))# 运行,获取返回结果def run(self):back=[]try:f = asyncio.wait(self.tasks) # 创建futureself.loop.run_until_complete(f) # 等待future完成finally:pass# 服务器高并发压力测试
class Test_Load():total_time=0 # 总耗时total_payload=0 # 总负载total_num=0 # 总并发数all_time=[]# 创建一个异步任务,本地测试,所以post和接收几乎不损耗时间,可以等待完成,主要耗时为算法模块async def task_func1(self,session):begin = time.time()# print('开始发送:', begin)file=open(self.image, 'rb')fsize = os.path.getsize(self.image)self.total_payload+=fsize/(1024*1024)data = {"image_id": "2", 'image':file}r = await session.post(self.url,data=data) #只post,不接收result = await r.json()self.total_num+=1# print(result)end = time.time()# print('接收完成:', end,',index=',self.total_num)self.all_time.append(end-begin)# 负载测试def test_safety(self):print('test begin')async_client = Asyncio_Client() # 创建客户端session = aiohttp.ClientSession()for i in range(10): # 执行10次self.all_time=[]self.total_num=0self.total_payload=0self.image = 'xxxx.jpg' # 设置测试nayizhangprint('测试图片:', self.image)begin = time.time()async_client.set_task(self.task_func1,self.num,session) # 设置并发任务async_client.run() # 执行任务end=time.time()self.all_time.sort(reverse=True)print(self.all_time)print('并发数量(个):',self.total_num)print('总耗时(s):',end-begin)print('最大时延(s):',self.all_time[0])print('最小时延(s):', self.all_time[len(self.all_time)-1])print('top-90%时延(s):', self.all_time[int(len(self.all_time)*0.1)])print('平均耗时(s/个):',sum(self.all_time)/self.total_num)print('支持并发率(个/s):',self.total_num/(end-begin))print('总负载(MB):',self.total_payload)print('吞吐率(MB/S):',self.total_payload/(end-begin)) # 吞吐率受上行下行带宽,服务器带宽,服务器算法性能诸多影响time.sleep(3)session.close()print('test finish')
aiohttp服务器mvc(静态网页,模板,数据库,log)
aiohttp之添加静态资源路径
所谓静态资源,是指图片、js、css等文件。
以一个小项目来说明,下面是项目的目录结构:
.
├── static
│ ├── css
│ │ ├── base.css
│ │ ├── bootstrap.min.css
│ │ └── font-awesome.min.css
│ ├── font
│ │ ├── FontAwesome.otf
│ │ ├── fontawesome-webfont.eot
│ │ ├── fontawesome-webfont.svg
│ │ ├── fontawesome-webfont.ttf
│ │ └── fontawesome-webfont.woff
│ └── index.html
└── proxy_server.py
在proxy_server.py给2个静态文件目录static/css和static/font添加路由:
app.router.add_static('/css/',path='static/css',name='css')app.router.add_static('/font/',path='static/font',name='font')
必需的2个参数:
prefix:是静态文件的url的前缀,以/开始,在浏览器地址栏上显示在网站host之后,也用于index.html静态页面进行引用
path:静态文件目录的路径,可以是相对路径,上面代码使用的static/css就是相对路径——相对于proxy_server.py所在路径。
加载的是index.html,下面是它引用静态资源的代码:
<!-- Bootstrap CSS -->
<link href="css/bootstrap.min.css" rel="stylesheet"><!-- Base CSS -->
<link href="css/base.css" rel="stylesheet"><!-- FA CSS -->
<link href="css/font-awesome.min.css" rel="stylesheet">
添加font的路径是因为/font-awesome.min.css需要使用:
如果修改前缀:
app.router.add_static('/css2017/',path='static/css',name='css')
虽然目录本身还是css,但通过add_static已经将它视为了css2017,在文件和浏览器中要想链接到css下的文件,必须使用css2017/xx.css来链接。
此外,如果加上show_index=True,就可以显示静态资源的目录索引了——默认是禁止访问的:
app.router.add_static('/css2017/',path='static/css',name='css',show_index=True)
python后台——aiohttp入门相关推荐
- python零基础入门教程学习要多久-廖雪峰python教程要学多久-零基础学Python需要多久...
零基础学python大约需要多久 看不同的人,不同的学习能和基础. 像我通java,vc ,javascript,groovy,vb,c 接触过c#,delphi,asp,E语言, 用过dreamwa ...
- python学成需要多久-小白学python怎么快速入门?多久能完成一个项目?
首先我们可以来看一下学完Python可以做什么? 1.网站后端程序员:使用它搭建网站,后台服务比较容易维护; 2.自动化运维:自动化处理大量的运维任务; 3.数据分析师:快速开发快速验证,分析数据得到 ...
- python web 框架例子_最快的 Python Web 框架入门
原标题:最快的 Python Web 框架入门 来源:Python开发 ID:PythonPush 速度比较 框架 实现基础 每秒请求数 平均时间 Sanic Python 3.5 + uvloop ...
- 自学python编程免费教程-Python十分钟入门 自学python基础教程送你参考
python十分钟入门.简介Python是一种动态解释型的编程语言.Python可以在Windows.UNIX.MAC等多种操作系统上使用,也可以在Java..NET开发平台上使用. 特点 1 Pyt ...
- python交互式编程在哪里_终于明了python交互式编程入门
Python是一款功能强大的脚本语言,具有丰富和强大的库,重要的是,它还具有很强的可读性,易用易学,非常适合编程初学者入门.以下是小编为你整理的python交互式编程入门 环境配置:下载Python并 ...
- 结构化数据丨Python爬虫基础入门系列(7)
提示:文末有福利!最新Python爬虫资料/学习指南>>戳我直达 文章目录 前言 JSON 1. json.loads() 2. json.dumps() 3. json.dump() 4 ...
- 零基础新手自学Python编程教程入门精通学习资料网站大全
零基础新手自学Python编程教程入门精通学习资料网站大全 今天说下关于Python的一些普及知识,以及学习资料,这一节我来跟大家分享下. 1 为什么要学习Python? 1 Python是一个脚本语 ...
- Python零基础入门教程,从入门到精通,不走弯路,大厂offer指日可待!
这篇是纯干货分享,对python感兴趣的可以认真看起来! 小白想要入门Python爬虫,首先得了解爬虫的基本工作原理和相关的理论基础,爬虫简介部分就不细说了,都可以百度得到. **爬虫工作原理总结来讲 ...
- 干货 | Python后台开发的高并发场景优化解决方案
嘉宾 | 黄思涵 来源 | AI科技大本营在线公开课 互联网发展到今天,规模变得越来越大,也对所有的后端服务提出了更高的要求.在平时的工作中,我们或多或少都遇到过服务器压力过大问题.针对该问题,本次公 ...
最新文章
- 基于OpenCV的视障人士实时目标检测
- MATLAB 半球面
- python文档字符串_结构化的python文档字符串,对IDE友好
- 获取系统进程信息和进程依赖的dll信息--CreateToolhelp32Snapshot
- TPYBoard:一款可以发挥无限创意的MicroPython开发板
- 到底什么是IT服务管理
- 数据链路层(学习笔记)
- lintcode 落单的数(位操作)
- css禁用选中文本_使用CSS禁用文本选择突出显示
- 安装MySql报错(This application requires .NET Framework x.x.x)
- 【图像增强】基于matlab频域+密度分割+灰度级-彩色变换伪彩色图像增强【含Matlab源码 1011期】
- Jarvis Oj Pwn 学习笔记-level1
- TesterHome android app 编写历程(三)
- stm32f746 linux,【STM32F7】STM32F746-Discovery ucLinux预热
- [Eclipse]GEF入门系列(三、应用实例)
- 极米投影、坚果投影、当贝投影,三大品牌对比来了
- 华为鸿蒙新机是哪款,华为新机来了!预装鸿蒙 OS,搭载麒麟 9000!
- PyQt5 基本教程
- 2021年电赛E题解析数字模拟信号混合传输收发机(详细介绍)
- ubuntu中查找文件后高亮_vim的高亮查找操作
热门文章
- line-height在安卓机位置靠上
- arcgis加载天地图_【arcgis地图实战】之天地图在线服务加载
- vue打开二级或者三级页面传输对象,再刷新浏览器数据丢失问题解决(vue使用router传递数据)
- 【java笔记】线程(2):多线程的原理
- 一个简单的基于 DirectShow 的播放器 1(封装类)
- mac电脑装java环境变量_Mac系统下安装jdk并配置环境变量的方法
- android java代码打印系统日志_Java快速开发平台源码
- 2021上半年ICPC各类赛事时间日程
- 【CSP201312-2】ISBN号码,字符串,简单模拟
- 【网络流24题】【LOJ6010】数字梯形(费用流)