yield 关键字

def fib():a, b = 0, 1while 1:yield ba, b = b, a+b

yield 是在:PEP 255 -- Simple Generators 这个pep引入的

yield 只能在函数内部使用,包含yield语句的函数称为生成器函数

当调用生成器函数时,并不会执行函数体中的代码,而是返回一个生成器对象

每次调用生成器对象的next()方法时,才会执行生成器函数中的代码,直到遇到yield 或者return 语句。

如果遇到yield 语句, 怎会挂起函数的运行状态,并将yield 右边的表达式的值返回给next()的调用者, 挂起的时候会保存所有本地状态,包括局部变量,指令指针和内部堆栈信息,这样当下次再次调用next()时, 看起来yield 部分就像是调用了一个外部调用一样,可以接着往下执行

注意:try/ finnally 结构中的try子句中不允许使用yield语句, 问题是因为无法保证生成器被恢复,因此无法保证finally块将被执行

yield from 关键字

yield from关键字是在:PEP 380 -- Syntax for Delegating to a Subgenerator 中提出的

用于生成器将其部分操作委托给另外一个生成器,这允许将包含yield的一段代码分解出来并放在另外一个生成器中,此外,允许子生成器返回一个值,这个值可供委派生成器使用

上述描述听起来可能还是不是特别清楚,我们先看一下语法:

yield from <expr>

yield from expr 表达式中,做的第一件事就是调用iter(expr) 从中获取迭代器,因此expr可以是任何可迭代的对象

通过下面的下例子把yield 和yield from 做对比

from collections import namedtupleResult = namedtuple("Result", "count average")li = [40.9, 38.5, 44.3, 42.2, 45.2, 41.7, 44.5, 38.0, 40.6, 44.5]# 子生成器
def averager():total = 0.0count = 0average = Nonewhile True:term = yieldif term is None:breaktotal += termcount += 1average = total/countreturn Result(count, average)# 委派生成器
def grouper(result, key):while True:result[key] = yield from averager()# 调用方
def main():results = {}group = grouper(results, "kg")next(group)for value in li:group.send(value)group.send(None)if __name__ == "__main__":main()

yield from的主要功能是打开双向通道,把最外层的调用方与最内层的子生成器连接起来,这样二者可以直接发送和产出值,还可以直接传入异常

yield from 的六个重要意义

关于yield from 六点重要的说明:

  1. 子生成器产出的值都直接传给委派生成器的调用方(即客户端代码)
  2. 使用send()方法发送给委派生成器的值都直接传给子生成器。如果发送的值为None,那么会给委派调用子生成器的__next__()方法。如果发送的值不是None,那么会调用子生成器的send方法,如果调用的方法抛出StopIteration异常,那么委派生成器恢复运行,任何其他异常都会向上冒泡,传给委派生成器
  3. 生成器退出时,生成器(或子生成器)中的return expr表达式会出发StopIteration(expr)异常抛出
  4. yield from表达式的值是子生成器终止时传给StopIteration异常的第一个参数。yield from 结构的另外两个特性与异常和终止有关。
  5. 传入委派生成器的异常,除了GeneratorExit之外都传给子生成器的throw()方法。如果调用throw()方法时抛出StopIteration异常,委派生成器恢复运行。StopIteration之外的异常会向上冒泡,传给委派生成器
  6. 如果把GeneratorExit异常传入委派生成器,或者在委派生成器上调用close()方法,那么在子生成器上调用clsoe()方法,如果它有的话。如果调用close()方法导致异常抛出,那么异常会向上冒泡,传给委派生成器,否则委派生成器抛出GeneratorExit异常

python协程

Python的生成器函数和python的协程非常接近 ,但并不完全 - 因为生成器然允许暂停执行以生成值,但是不提供在执行恢复时传递的值或异常。

并且生成器不允许在try / finally块的try部分中暂停执行,因此使中止的协程很难在其自身之后进行清理。

  1. 将yield重新定义为表达式,而不是语句。当前的yield语句将成为一个yield值表达式,其值将被丢弃。每当通过正常的next()调用恢复生成器时,yield表达式的值为None
  2. 为generator-iterators 添加了一个新的方法send(), 它可以恢复生成器并发送给生成一个值,该值称为yield - expression的结果,send()方法返回生成器产生的下一个值,如果生成器退出而不产生另一个值,则引发StopIteration。
  3. 为generator-iterators 添加了一个新的方法throw(), 它在生成器暂停时引发异常,并返回生成器产生的下一个值,如果生成器退出而不产生另一个值,则引发StopIteration(如果生成器没有捕获传入的异常,或者引发另外的一个异常,那么该异常会传播给调用者)
  4. 为generator-iterators 添加了一个新的方法close(), 在生成器暂停的位置引发一个GeneratorExit 异常,如果一个生成器引发了StopIteration 异常或者GeneratorExit 异常, close()方法将返回给它的调用者,如果生成是yield 一个值,会引发RuntimeError 异常。如果一个生成器引发了任何其他异常,则会传给他的调用者 ,如果生成器,由于异常退出或者已经正常退出,那么close()不执行任何操作。
  5. 确保了当生成器被垃圾回收的时候执行close()
  6. 因为垃圾回收或者clsoe被调用将允许允许yield在try / finally块中使用。

send方法

send方法只有一个参数,就是发送值到生成器,调用send(None)相当于调用生成器的next()方法

因为我们开始执行生成器函数的时候,并没有实际执行生成器函数中的代码而是返回一个生成器对象,所以我们需要调用next()或者send(None)来激活协程

与next()方法一样,send()方法返回generator-iterator产生的下一个值,如果生成器正常退出或已经退出,则引发StopIteration。如果生成器引发未捕获的异常,它将传播到send()的调用者

throw方法

让生成器在被挂起的位置抛出指定的异常,如果生成器捕获了异常并且返回的另外一个值,那么这个值就是g.throw()返回的值

如果生成器没有捕获异常,那么throw()将会引发传递相同的异常,如果生成器引发了另外一个异常,throw调用将引发异常,总之throw()的行为类似next()或者send()

除了它在挂起的时候引发异常。如果生成器已经处于关闭状态,throw() 只会引发它传递的异常,而不执行任何生成器的代码

generator.throw:会让生成器在暂停的yield表达式处抛出指定的异常,如果生成器处理了抛出的异常,代码会向前执行到下一个yield表达式,而产出的值会成为调用generator.throw方法代码的返回值。如果生成器没有处理抛出的异常,异常会向上冒泡,传到调用方的上下文中。
generator.close:会让生成器在暂停的yield表达式处抛出GeneratorExit异常。如果生成器没有处理这个异常,或者抛出了StopIteration异常,调用方不会报错,如果收到GeneratorExit异常,生成器一定不能产出值,否则解释器会抛出RuntimeError异常。生成器抛出的异常会向上冒泡,传给调用方。

早期的python协程,语法上协程和生成器看起来也非常类似,也是通过yield关键字如:num = yield

def simple_coroutine():print("coroutine start")x = yieldprint("coroutine receive [%s]" %x)coroutine = simple_coroutine()
print(coroutine)
next(coroutine)
coroutine.send(888)

上面的例子中yield 的右边没有表达式,所以默认产出的值为None,通过之前将yield 关键字的时候我们已经知道当我们执行函数的时候

并不会运行生成器函数中的代码,而是返回一个生成器对象,所以我们需要通过调用next(...)来激活协程,这个时候开始运行生成器函数,

当运行到x = yield的时候,yield的右边如果有表达式,则会先进行右边表达式的计算,然后再进行赋值,所以当上面函数执行next()之后,

程序会停在yield那里,当我们调用send方法后yield会收到这个值并赋值给x,而当程序运行到协程定义体的末尾时和用生成器的时候一样会抛出StopIteration异常

如果协程没有通过next(...)激活(同样我们可以通过send(None)的方式激活),但是我们直接send,则会出错

关于调用next(...)函数这一步通常称为”预激(prime)“协程,即让协程向前执行到第一个yield表达式,准备好作为活跃的协程使用

协程在运行过程中有四个状态:

  1. GEN_CREATE:等待开始执行
  2. GEN_RUNNING:解释器正在执行,这个状态一般看不到
  3. GEN_SUSPENDED:在yield表达式处暂停
  4. GEN_CLOSED:执行结束

转载于:https://www.cnblogs.com/zhaof/p/10072934.html

从yield 到yield from再到python协程相关推荐

  1. python协程--yield和yield from

    字典为动词"to yield"给出了两个释义:产出和让步.对于 Python 生成器中的 yield 来说,这两个含义都成立.yield item 这行代码会产出一个值,提供给 n ...

  2. python协程系列(三)——yield from原理详解

    声明:本文将详细讲解python协程的实现机理,为了彻底的弄明白它到底是怎么一回事,鉴于篇幅较长,将彻底从最简单的yield说起从最简单的生成器开始说起,因为很多看到这样一句话的时候很懵,即" ...

  3. python yield 协程_用yield实现python协程

    刚刚介绍了pythonyield关键字,趁热打铁,现在来了解一下yield实现协程. 引用官方的说法: 与线程相比,协程更轻量.一个python线程大概占用8M内存,而一个协程只占用1KB不到内存.协 ...

  4. python 协程_Python 协程与 Go 协程的区别(一)

    ? "Python猫" ,一个值得加星标的公众号 花下猫语:年关将近,不知各位过得怎样?我最近有些忙,收获也挺多,以后有机会分享下.吃饭时间,追了两部剧<了不起的麦瑟尔夫人& ...

  5. python中协程与函数的区别_深入浅析python 协程与go协程的区别

    进程.线程和协程 进程的定义: 进程,是计算机中已运行程序的实体.程序本身只是指令.数据及其组织形式的描述,进程才是程序的真正运行实例. 线程的定义: 操作系统能够进行运算调度的最小单位.它被包含在进 ...

  6. c++ 协程_理解Python协程(Coroutine)

    由于GIL的存在,导致Python多线程性能甚至比单线程更糟. GIL: 全局解释器锁(英语:Global Interpreter Lock,缩写GIL),是计算机程序设计语言解释器用于同步线程的一种 ...

  7. python协程实现一万并发_python中的协程并发

    python asyncio 网络模型有很多中,为了实现高并发也有很多方案,多线程,多进程.无论多线程和多进程,IO的调度更多取决于系统,而协程的方式,调度来自用户,用户可以在函数中yield一个状态 ...

  8. python协程详解_彻底搞懂python协程-第一篇(关键词1-4)

    任何复杂的概念或系统都不是凭空出现的,我们完全可以找到它的演化历程,寻根究底终会发现,其都是在一系列并不那么复杂的简单组件上发展演化而来! by 落花僧 本文通过一系列关键概念,逐步递进理解协程. 0 ...

  9. python协程详解

    目录 python协程详解 一.什么是协程 二.了解协程的过程 1.yield工作原理 2.预激协程的装饰器 3.终止协程和异常处理 4.让协程返回值 5.yield from的使用 6.yield ...

最新文章

  1. NAR:浙大陈云/马忠华团队揭示病原真菌组蛋白H3K27甲基化识别新机制
  2. 设置maxJsonLength,解决ajax通过POST方式调用.net的webService时,数据过长时服务器返回500错误的问题
  3. OpenGL中投影变换矩阵的反向推导
  4. Java设计模式-工厂模式(1)简单工厂模式
  5. webpack的安装及使用webpack打包js、css文件
  6. 地理生物高考成绩查询2021,2021北京中考地理生物成绩查询时间【已公布】
  7. linux图形开发工具
  8. 优秀!复旦直博生一作发15篇SCI,并担任12本SCI期刊审稿人
  9. 说说python程序的执行过程_表示说的词语
  10. python无法在终端运行程序_解决项目pycharm能运行,在终端却无法运行的问题
  11. DPDK 16.04/16.11.2 默认tx offload是关闭的引起tx vlan offload无效
  12. [转]Linux 技巧:让进程在后台可靠运行的几种方法
  13. GlusterFS 部署和应用
  14. linux acrobat,开源Linux Acrobat Javascript编辑器
  15. 软件测试---------兼容性 / 安装卸载 / 易用性测试点(超详细)
  16. gg修改器ios版下载
  17. java实习第三周总结
  18. 尼克新书《人工智能简史》全新升级 全方位解读AI历史和未来
  19. Pycharm破解(学习python的day01)
  20. Segue区别及视图的切换

热门文章

  1. linux系统清理内存,如何清除linux的内存缓存,缓冲和交换空间
  2. 高斯牛顿法 matlab代码实现
  3. mysql数据库中 pri_mysql数据库part2
  4. explain ref_MySQL 性能分析神器 —— EXPLAIN 用法与解读。
  5. 什么叫百度下拉框?除了百度下拉还有哪些下拉词框可以优化?
  6. php5.2 sqlserver2000,Linux系统下让PHP连sqlserver2000
  7. java第三方登录接口_第三方登录接入-qq,weibo-java
  8. java云端开发_云端编写Java代码的方法
  9. 计算机课外作业,东南大学微机课外作业
  10. mysql 61_MySQL 连接错误Can't connect to MySQL server on (61)