生产者和消费者模式

【生产者和消费者模式】这几天同事在处理RK平台的基于mipi协议的数据时候，碰到数据透传到usb到PC端的时候出现问题，因为数据量比较大，加上是并发传输，所以通信上用到了生产者消费者模式。
生产者消费者模式，或者更贴切的说它是一种模型，不能说属于一种设计模式。具体来讲，就是一个系统中存在生产者和消费者两种角色，他们通过内存缓冲区进行通信，而如何保证并发通信，这就是程序员要思考的问题。比如说国内的淘宝，拼多多，京东等超级流量级别的电子商务，用户访问浏览页面的时候，图片资源以及网页内容要在几秒内就刷出来，这些就是程序员工程师的智慧的结晶，而背后很大程度上生产者与消费者模式用得淋漓尽致。

生产者是一个或者一堆线程，消费者也是一个或者一堆堆线程，内存缓冲区可以使用List数组队列，数据类型只需要定义一个简单的类，如何处理多线程之间的协作通信。这是一门艺术性的问题，像我工作中遇到的场景， rk平台的mipi数据总是不断的吐露出来，而我要能随时接纳数据并且不能影响帧率，这就很考验人。我同事遇到就懵圈了，不会利用这个模式去解决问题，如果你还在用单线程的操作去设立数据缓存区，我觉得就有点愚蠢了。
在这个模型中，最关键就是内存缓冲区为空的时候消费者必须等待，而内存缓冲区满的时候，生产者必须等待。其他时候可以是个动态平衡。值得注意的是多线程对临界区资源的操作时候必须保证在读写中只能存在一个线程，所以需要设计锁的策略。
这里要提到的是用intel线程库tbb的使用， Intel宣布， ThreadingBuildingBlocks ， Intel众多软件开发工具中的一个， opensource了。协议是GPLv2 。我在自己场景中是利用tbb这个库来创建线程，实现这个生产者与消费者模型。
tbb创建生产者与消费者并发线程队列

生产者队列

消费者队列

实际中应用

当然用tbb直接来创建线程队列，你可能无法去领悟它的精髓，所以建议你还是不要以来tbb这个库，而自己单纯的用创建线程的方式手撕这部分代码。
这个模型的核心精髓是缓冲区的设立。而且你可以采用队列，管道， sockert或者其他方式去设计分配这块内存缓冲区。当数据制造快的时候，消费者来不及处理，未处理的数据可以暂时存在缓冲区中。等生产者的制造速度慢下来，消费者再慢慢处理掉。
当然它支持并发的同时也带来一个弊端。由于函数调用是同步的（或者叫阻塞的），在消费者的方法没有返回之前，生产者只好一直等在那边。万一消费者处理数据很慢，生产者就会白白糟蹋大好时光。因为RK平台，全志813平台，联发科平台这些SOC芯片处理器吐出的数据是非常快的，如果你不设立缓冲区，或者不去设计这么一块区域去处理数据，或者基于ISP算法处理，那么你肯定会影响到帧率速度，甚至于芯片的性能无法完美的诠释。
使用了生产者／消费者模式之后，生产者和消费者可以是两个独立的并发主体。生产者把制造出来的数据往缓冲区一丢，就可以再去生产下一个数据。基本上不用依赖消费者的处理速度。这个模式是不在GOF提出的23种设计模式之中的，它不是基于面向对象的设计模式，而是面向过程的一个设计模式，所以经常被广泛用于系统性的架构当中。