java 队列占用内存大小_Java线程池队列吃的太饱，撑着了咋整？java 队列过大导致内存溢出...

Java的Executors框架提供的定长线程池内部默认使用LinkedBlockingQueue作为任务的容器，这个队列是没有限定大小的，可以无限向里面submit任务。

当线程池处理的太慢的时候，队列里的内容会积累，积累到一定程度就会内存溢出。即使没有内存溢出，队列的延迟势必会变大，而且如果进程突然遇到退出信号，队列里的消息还没有被处理就被丢弃了，那必然会对系统的消息可靠性造成重大影响。

那如何解决线程池的过饱问题呢？从队列入手，无外乎两种方法

增加消费者，增加消费者处理效率

限制生产者生产速度

增加消费者就是增加线程池大小，增加消费者处理效率就是优化逻辑处理。但是如果遇到了IO瓶颈，消费者处理的效率完全取决于IO效率，在消费能力上已经优化到了极限还是处理不过来怎么办？或者系统突然遇到用户高峰，我们所配置的线程池大小不够用怎么办？

这时候我们就只能从生产者入手，限制生产者的生产速度。那如何限制呢？

LinkedBlockingQueue提供了capacity参数可以限制队列的大小，当队列元素达到上线的时候，生产者线程会阻塞住，直到队列被消费者消费到有空槽的时候才会继续下去。这里似乎只要给队列设置一个大小就ok了。

但是实际情况并不是我们所想的那样。

翻开源码可以发现生产者向队列里塞任务用的方法是workQueue.offer()，这个方法在遇到队列满时是不会阻塞的，而是直接返回一个false，表示抛弃了这个任务。然后生产者调用reject方法，进入拒绝处理逻辑。

接下来我们看看这个reject方法到底干了什么

我们看到JDK默认提供了4中拒绝策略的实现。

AbortPolicy 默认策略，抛出RejectedExecutionException异常

CallerRunsPolicy 让任务在生产者线程里执行，这样可以降低生产者的生产速度也不会将生产者的线程堵住

DiscardPolicy 直接抛弃任务，不抛异常

DiscardOldestPolicy 直接抛弃旧任务，不抛异常

一般比较常用的是CallerRunPolicy，比较优雅的解决了过饱问题。如果你觉得这种方式不那么优雅的话，还可以使用下面的几种方式。这几种方式都是通过处理RejectExecution来实现生产者的阻塞的目的。

这种方案是使用put方法会阻塞生产者线程的原理达到了目的。

这种方案显而易见，用sleep达到了阻塞的目的。

这种方案是通过信号量的大小都限制队列的大小，也不需要特别限定executor队列大小了

同样的原理还可以使用wait/notifyAll机制来达到一样的目的。

java 队列占用内存大小_Java线程池队列吃的太饱，撑着了咋整？java 队列过大导致内存溢出...相关推荐

java set和get原理_Java线程池的实现原理和使用
为什么用线程池在我们进行开发的时候,为了充分利用系统资源,我们通常会进行多线程开发,实现起来非常简单,需要使用线程的时候就去创建一个线程(继承Thread类.实现Runnable接口.使用Calla ...
java低层源码_Java线程池及其底层源码实现分析
*/ Callable接口 && Runnable接口 callable调用call方法 runnable调用run方法都可以被线程调用,但callable的call方法具有返回值( ...
java 队列线程池_Java线程池Executor使用
原标题:Java线程池Executor使用合理利用线程池能够带来三个好处.第一:降低资源消耗.通过重复利用已创建的线程降低线程创建和销毁造成的消耗.第二:减少系统对于,外部服务的响应时间的等待.第 ...
idea 线程内存_Java线程池系列之-Java线程池底层源码分析系列（二）
课程简介: 课程目标:通过本课程学习,深入理解Java线程池,提升自身技术能力与价值. 适用人群:具有Java多线程基础的人群,希望深入理解线程池底层原理的人群. 课程概述:多线程的异步执行方式,虽然 ...
java线程优先级队列等待_java线程池队列优先级（插队）Demo
在做线程池操作的时候,突然来个加紧处理时,会很纠结,不知道怎么处理让加紧的线程插队先执行.该Demo使用了自定义线程池,采用优先级阻塞式队列(PriorityBlockingQueue)的方式来处理插 ...
java线程不执行_java线程池,阿里为什么不允许使用Executors?
带着问题阿里Java代码规范为什么不允许使用Executors快速创建线程池? 下面的代码输出是什么? ThreadPoolExecutor executor = new ThreadPoolExe ...
java线程池的概念_Java线程池的基本概念以及生命周期
一.为什么要实现线程池? 线程的创建与销毁对于CPU而言开销较大,通过池化技术可避免重复的创建与销毁线程. 方便与线程资源统一管理. 二.几种常见的线程池以及核心参数不推荐使用Executor创建线 ...
java 线程执行完就会回收吗_Java线程池技术Executors的这个坑你踩过吗？
线程池技术是Java的一大特性,如果我们想要编写高并发.高吞吐的程序,线程池的技术使用是必须的.对于很多程序员来说,多线程和线程池技术都了然于胸,基本原理和使用都数量掌握,分分钟可以写出一个生产消费者 ...
java 工作池_Java线程池的工作原理，好处和注意事项
线程池的工作原理一个线程池管理了一组工作线程, 同时它还包括了一个用于放置等待执行任务的任务队列(阻塞队列) . 一个线程池管理了一组工作线程, 同时它还包括了一个用于放置等待执行任务的任务队列 ...

java 队列占用内存大小_Java线程池队列吃的太饱，撑着了咋整？java 队列过大导致内存溢出...

java 队列占用内存大小_Java线程池队列吃的太饱，撑着了咋整？java 队列过大导致内存溢出...相关推荐

最新文章

热门文章