python异步asy_python异步编程asyncio

前言

python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板。

asyncio于Python3.4引入标准库，增加了对异步I/O的支持，asyncio基于事件循环，可以轻松实现异步I/O操作。接下来，我们用基于asyncio的库实现一个高性能爬虫。

asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用，然后把需要执行的协程扔到EventLoop中执行，就实现了异步IO。

同步和异步

同步：不同程序单元为了完成某个任务，在执行过程中需靠某种通信方式以协调一致，称这些程序单元是同步执行的。

异步：为完成某个任务，不同程序单元之间过程中无需通信协调，也能完成任务的方式。简言之，异步意味着无序。

python同步和异步

下面通过举例来对比同步代码和异步代码编写方面的差异，其次看下两者性能上的差距，使用time.sleep()来模拟io操作

同步代码：

import time

def task(i):

time.sleep(1)

print(f'task {i}')

pass

start = time.time()

for i in range(4):

task(i)

pass

end = time.time()

print(f"Time consuming:{end -start}")

执行结果：最后消耗的时间是4s多，顺序是从0到3，从上到下顺序执行的

task 0

task 1

task 2

task 3

Time consuming:4.0012712478637695

异步代码：需要导入asyncio模块，Python3.4加入到标准库

import time

import asyncio

async def task(i):

await asyncio.sleep(1)

print(f'task {i}')

pass

tasks = [] # 任务列表

loop = asyncio.get_event_loop() # 创建事件循环对象

start = time.time()

for i in range(4):

tasks.append(asyncio.ensure_future(task(i))) # 添加到任务列表

pass

loop.run_until_complete(asyncio.wait(tasks)) # 异步执行任务

end = time.time()

print(f"Time consuming:{end -start}")

执行结果：可以看到使用异步后执行顺序不在是顺序执行，执行的时间也从4s缩短为1s

task 0

task 2

task 1

task 3

Time consuming:1.0003290176391602

async def 用来定义异步函数，其内部有异步操作。每个线程有一个事件循环，主线程调用asyncio.get_event_loop()时会创建事件循环，你需要把异步的任务丢给这个循环的run_until_complete()方法，事件循环会安排协同程序的执行。

python异步asy_python异步编程asyncio相关推荐

python异步asy_Python 异步编程之asyncio【转载】
一.协程的认识协程(Coroutine),也可以被称为微线程,是一种用户态内的上下文切换技术. 简而言之,其实就是通过一个线程实现代码块相互切换执行.例如:deffunc1():print(1) . ...
python 异步编程——asyncio
python 异步编程--asyncio 摘要 1. 协程 1.1 基本概念 1.2 实现方法 1.2.1 greenlet 1.2.2 yield 1.2.3 asyncio模块 1.2.4 asy ...
python 异步编程 asyncio
协程协程(Coroutine),也可以被称为微线程,是一种用户态内的上下文切换技术.简而言之,其实就是通过一个线程实现代码块相互切换执行在Python中有多种方式可以实现协程,例如: greenl ...
python3异步编程_协程 Python异步编程(asyncio)
协程(Coroutine) 也可以被称为微线程,是一种用户态内的上下文切换技术.简而言之,其实就是通过一个线程实现代码块相互切换执行. 直接上代码,例如: 同步编程 import time def f ...
python 异步io_python异步IO编程(一)
python异步IO编程(一) 基础概念异步IO (async IO):一种由多种语言实现的与语言无关的范例(或模型). asyncio:Python 3.4版本引入的标准库,直接内置了对异步IO的 ...
python processpoolexector 释放内存_一起看看python 中日志异步发送到远程服务器
在python中使用日志最常用的方式就是在控制台和文件中输出日志了,logging模块也很好的提供的相应的类,使用起来也非常方便,但是有时我们可能会有一些需求,如还需要将日志发送到远端,或者直接写入数 ...
Java异步非阻塞编程的几种方式
简介: Java异步非阻塞编程的几种方式一. 从一个同步的Http调用说起一个很简单的业务逻辑,其他后端服务提供了一个接口,我们需要通过接口调用,获取到响应的数据. 逆地理接口:通过经纬度获取这个 ...
Python爬虫之异步爬虫
异步爬虫异步爬虫初识异步爬虫方式 li视频源码讲解协程异步编程什么是协程: 实现携程的方法: 事件循环单条时间启动多个事件启动(重要) await关键字(重要) 回调函数(重要) 协程中的 ...
python异步requests_Python异步Request操作: aiohttp
1. Tutorial 2. 其他库推荐 2.1. aiohttp-requests 这个库时对aiohttp库的网络请求模块的封装,用了这个库,在异步网络请求的时候,可以在写法上更简洁易懂.本质上还 ...

python异步asy_python异步编程asyncio

python异步asy_python异步编程asyncio相关推荐

最新文章

热门文章