关于生产者与消费者模型的概念

之前在阅读PCI 和PCIe spec中老是能看到 producer and consumer model，一知半解的，具体细节也没有去研究了。以为不甚重要，可以暂时先略过，也不会影响后续的对协议的学习和研究。后来，又在操作系统的进程概念中有看到类似的概念。最后决定，还是去学习一下相关理论吧。

在网络上找到一些文章，以下是一篇转载：

------------------------------------------------------------------------------转载-----------------------------------------------------------------------------------------------------------------

今天打算来介绍一下“生产者／消费者模式”，这玩意儿在很多开发领域都能派上用场。由于该模式很重要，打算分几个帖子来介绍。今天这个帖子先来扫盲一把。如果你对这个模式已经比较了解，请跳过本扫盲帖，直接看下一个帖子（关于该模式的具体应用）。
　　看到这里，可能有同学心中犯嘀咕了：在四人帮（GOF）的23种模式里面似乎没听说过这种嘛！其实GOF那经典的23种模式主要是基于OO的（从书名《Design Patterns: Elements of Reusable Object-Oriented Software》就可以看出来）。而Pattern实际上即可以是OO的Pattern，也可以是非OO的Pattern的。

　　★简介
　　言归正传！在实际的软件开发过程中，经常会碰到如下场景：某个模块负责产生数据，这些数据由另一个模块来负责处理（此处的模块是广义的，可以是类、函数、线程、进程等）。产生数据的模块，就形象地称为生产者 ；而处理数据的模块，就称为消费者 。
　　单单抽象出生产者和消费者，还够不上是生产者／消费者模式。该模式还需要有一个缓冲区处于生产者和消费者之间，作为一个中介。生产者把数据放入缓冲区，而消费者从缓冲区取出数据。大概的结构如下图。

　　为了不至于太抽象，我们举一个寄信的例子（虽说这年头寄信已经不时兴，但这个例子还是比较贴切的）。假设你要寄一封平信，大致过程如下：
　　1、你把信写好——相当于生产者制造数据
　　2、你把信放入邮筒——相当于生产者把数据放入缓冲区
　　3、邮递员把信从邮筒取出——相当于消费者把数据取出缓冲区
　　4、邮递员把信拿去邮局做相应的处理——相当于消费者处理数据

　　★优点
　　可能有同学会问了：这个缓冲区有什么用捏？为什么不让生产者直接调用消费者的某个函数，直接把数据传递过去？搞出这么一个缓冲区作甚？
　　其实这里面是大有讲究的，大概有如下一些好处。
　　◇解耦
　　假设生产者和消费者分别是两个类。如果让生产者直接调用消费者的某个方法，那么生产者对于消费者就会产生依赖（也就是耦合）。将来如果消费者的代码发生变化，可能会影响到生产者。而如果两者都依赖于某个缓冲区，两者之间不直接依赖，耦合也就相应降低了。
　　接着上述的例子，如果不使用邮筒（也就是缓冲区），你必须得把信直接交给邮递员。有同学会说，直接给邮递员不是挺简单的嘛？其实不简单，你必须得认识谁是邮递员，才能把信给他（光凭身上穿的制服，万一有人假冒，就惨了）。这就产生和你和邮递员之间的依赖（相当于生产者和消费者的强耦合）。万一哪天邮递员换人了，你还要重新认识一下（相当于消费者变化导致修改生产者代码）。而邮筒相对来说比较固定，你依赖它的成本就比较低（相当于和缓冲区之间的弱耦合）。
　　◇支持并发（concurrency）
　　生产者直接调用消费者的某个方法，还有另一个弊端。由于函数调用是同步的（或者叫阻塞的），在消费者的方法没有返回之前，生产者只好一直等在那边。万一消费者处理数据很慢，生产者就会白白糟蹋大好时光。
　　使用了生产者／消费者模式之后，生产者和消费者可以是两个独立的并发主体（常见并发类型有进程和线程两种，后面的帖子会讲两种并发类型下的应用）。生产者把制造出来的数据往缓冲区一丢，就可以再去生产下一个数据。基本上不用依赖消费者的处理速度。
　　其实当初这个模式，主要就是用来处理并发问题的。
　　从寄信的例子来看。如果没有邮筒，你得拿着信傻站在路口等邮递员过来收（相当于生产者阻塞）；又或者邮递员得挨家挨户问，谁要寄信（相当于消费者轮询）。不管是哪种方法，都挺土的。
　　◇支持忙闲不均
　　缓冲区还有另一个好处。如果制造数据的速度时快时慢，缓冲区的好处就体现出来了。当数据制造快的时候，消费者来不及处理，未处理的数据可以暂时存在缓冲区中。等生产者的制造速度慢下来，消费者再慢慢处理掉。
　　为了充分复用，我们再拿寄信的例子来说事。假设邮递员一次只能带走1000封信。万一某次碰上情人节（也可能是圣诞节）送贺卡，需要寄出去的信超过1000封，这时候邮筒这个缓冲区就派上用场了。邮递员把来不及带走的信暂存在邮筒中，等下次过来时再拿走。
　　费了这么多口水，希望原先不太了解生产者／消费者模式的同学能够明白它是怎么一回事。然后在下一个帖子中，我们来说说如何确定数据单元。

　　另外，为了方便阅读，把本系列帖子的目录整理如下：
　　1、如何确定数据单元
　　2、队列缓冲区
　　3、环形缓冲区
　　4、双缓冲区
　　5、......

http://program-think.blogspot.com/2009/03/producer-consumer-pattern-0-overview.html

---------------------------------------------------------------------------------------以上为转载内容------------------------------------------------------------------------------------------

关于生产者与消费者模型的概念相关推荐

生产者与消费者模型的概念
生产者与消费者模型:一种代码的设计模式,大佬们针对典型场景设计的解决方案应对的场景: 数据的产生以及处理的场景示例:写一个程序,进行网卡流量分析 1.获取网卡流量 2.对流量进行数据分析解决方 ...
生产者和消费者模型介绍
一.概念引入日常生活中,每当我们缺少某些生活用品时,我们都会去超市进行购买,那么,你有没有想过,你是以什么身份去的超市呢?相信大部分人都会说自己是消费者,确实如此,那么既然我们是消费者,又是谁替我们 ...
java线程-从生产者和消费者模型说起
今天学习了经典的生产者和消费者模型,引起了对java线程等知识的一系列的思考. 在平时的编程中,经常遇到一个线程要产生数据,而另一个线程要处理产生出来的数据,这其实就是生产者和消费者的关系.生产者在产 ...
Linux下生产者与消费者模型
1. 概念有一个或多个生产者生产某种类型的数据,并放在缓冲区里(生产者),有一个消费者从缓冲区中取数据,每次取一项(消费者).系统保证任何时候只有一个主题可以访问缓存区.所以当生产满时,生产者不 ...
python 进程间同步_python之路29 -- 多进程与进程同步（进程锁、信号量、事件）与进程间的通讯（队列和管道、生产者与消费者模型）与进程池...
所谓异步是不需要等待被依赖的任务完成,只是通知被依赖的任务要完成什么工作,依赖的任务也立即执行,只要自己完成了整个任务就算完成了.至于被依赖的任务最终是否真正完成,依赖它的任务无法确定,所以它是不可靠 ...
c/c++：线程同步（互斥锁、死锁、读写锁、条件变量、生产者和消费者模型、信号量）
目录 1. 概念 2. 互斥锁 3. 死锁 4. 读写锁 5. 条件变量 5.1 生产者和消费者模型 6. 信号量 1. 概念线程同步: > 当有一个线程在对内存进行操作时,其他线程都不可以对 ...
【Linux下】线程同步生产者与消费者模型
文章目录 [Linux下] 线程同步生产者与消费者模型线程同步同步概念与竞态条件条件变量条件变量本质操作条件变量初始化和销毁条件变量等待唤醒通过条件变量实现的简单线程同步例子为什 ...
linux进程间通信：system V 信号量生产者和消费者模型编程案例
生产者和消费者模型: 有若干个缓冲区,生产者不断向里填数据,消费者不断从中取数据两者不冲突的前提: 缓冲区有若干个,且是固定大小,生产者和消费者各有若干个生产者向缓冲区中填数据前需要判断缓冲区是否 ...
python生产和消费模型_python queue和生产者和消费者模型
queue队列当必须安全地在多个线程之间交换信息时,队列在线程编程中特别有用. classqueue.Queue(maxsize=0) #先入先出classqueue.LifoQueue(maxsi ...

关于生产者与消费者模型的概念

关于生产者与消费者模型的概念相关推荐

最新文章

热门文章