python携程asyncio_python 携程asyncio 实现高并发示例2

import asyncio

import random

#需求:有一个crontab调度器，每隔1秒，拉起1个job，要求这些job可以并发爬取网页

async def cron_scheduler():

page = 1

while True:

url = "{}/{}".format("https://baidu.com",page)

job = cron_job(url) #必须将新携程分离出去，让它和当前携程并发

asyncio.create_task(job) #注册到事件循环

await asyncio.sleep(0) #主动让渡线程

page = page+1

async def cron_job(url):

n = random.randint(1,3) #模拟下载延迟

await asyncio.sleep(n)

print("下载结束：",url)

asyncio.run(cron_scheduler())

下载结束： https://baidu.com/145032

下载结束： https://baidu.com/144970

下载结束： https://baidu.com/144972

下载结束： https://baidu.com/145096

下载结束： https://baidu.com/145097

下载结束： https://baidu.com/145042

下载结束： https://baidu.com/145168

下载结束： https://baidu.com/144960

下载结束： https://baidu.com/145037

python携程asyncio_python 携程asyncio 实现高并发示例2相关推荐

协程asyncio_Python 异步模块 asyncio 中的协程与任务
协程(Coroutine)是允许执行被挂起.恢复.以及取消的程序.Python 3 中最初是使用 @asyncio.coroutine 装饰器和 yield from 关键字组合来实现协程.单词 yi ...
携程python_Python 携程
一.协程 1.又称微线程,纤程.英文名Coroutine.一句话说明什么是协程:协程是一种用户态的轻量级线程(相当于操作系统不知道它的存在,是用户控制的). 2.协程拥有自己的寄存器上下文和栈(代码的 ...
swoole mysql 并发_Swoole4 如何打造高并发的PHP7协程Mysql连接池？
一.数据库连接池基本概念所谓的数据库连接池,一般指的就是程序和数据库保持一定数量的数据库连接不断开,并且各请求的连接可以相互复用,减少重复新建数据库连接的消耗和避免在高并发的情况下出现数据库max ...
从根上理解高性能、高并发(七)：深入操作系统，一文读懂进程、线程、协程
本文引用了"一文读懂什么是进程.线程.协程"一文的主要内容,感谢原作者的无私分享. 1.系列文章引言 1.1 文章目的作为即时通讯技术的开发者来说,高性能.高并发相关的技术概念早 ...
【洁洁送书第一期】Python高并发与高性能编程: 原理与实践
这里写目录标题 Python高并发.高性能解决问题书本介绍关于作者直播预告 Python高并发.高性能 Python成为时下技术革新的弄潮儿,全民Python的发展趋势让人们不再满足于简单地运 ...
python 协程 asyncio_Python 原生协程------asyncio（选自公众号）
所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知. Asyncio 是并发(concurrency)的一种方式.对 Python 来说,并 ...
python携程gevent_Python协程介绍以及优缺点 Greentlet和Gevent的使用
协程,又称微线程,纤程.英文名Coroutine.协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此: 协程能保留上 ...
Python 异步 IO 、协程、asyncio、async/await、aiohttp
From :廖雪峰异步IO :https://www.liaoxuefeng.com/wiki/1016959663602400/1017959540289152 Python Async/Awai ...
[转]携程大数据实践：高并发应用架构及推荐系统案例
本文来自携程技术中心基础业务研发部的<应用架构涅槃>系列分享.据基础业务研发部负责人李小林介绍,互联网二次革命的移动互联网时代,如何吸引用户.留住用户并深入挖掘用户价值,在激烈的竞争中脱颖 ...

python携程asyncio_python 携程asyncio 实现高并发示例2

python携程asyncio_python 携程asyncio 实现高并发示例2相关推荐

最新文章

热门文章