java多线程处理百万数据

java多线程对数据的操作，最大线程处理数，可根据实际情况进行合理设计

主要就是，多线程合理分配数据资源，不要造成多个线程争抢一个数据资源从而导致死锁就得不偿失了。本文作为参考，实际操作时，你可以将mapper注入进来，操作数据库等一系列对数据处理的方法皆可以

package com.org.thread;import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;/*** 多线程操作工具类*/
public class ExecutorUtils {public static void main(String[] args) {// 造5000条数据（可根据实际情况造数据）final Integer listSize = 1000000;ArrayList<String> list = new ArrayList<>();for (int i = 0; i < listSize; i++) {String user = "这是一条数据";list.add(user);}executeThreadPool(list);}// 一个线程最大处理数据量private static final int THREAD_COUNT_SIZE = 5000;public static void executeThreadPool(List<String> pmsProductList) {long start = System.currentTimeMillis();// 线程数，以5000条数据为一个线程，总数据大小除以5000，再加1int round = pmsProductList.size() / THREAD_COUNT_SIZE + 1;// 程序计数器final CountDownLatch count = new CountDownLatch(round);// 创建线程ExecutorService executor = Executors.newFixedThreadPool(round);// 分配数据for (int i = 0; i < round; i++) {int startLen = i * THREAD_COUNT_SIZE;int endLen = ((i + 1) * THREAD_COUNT_SIZE > pmsProductList.size() ? pmsProductList.size(): (i + 1) * THREAD_COUNT_SIZE);final List<String> threadList = pmsProductList.subList(startLen, endLen);int k = i + 1;executor.execute(new Runnable() {@Overridepublic void run() {// 我这里用的是 jpa的直接添加一个list，当然这里可以把list，for循环然后调用// 接口添加数据库,或者进行其他数据操作System.out.println("正在处理线程【" + k + "】的数据，数据大小为：" + threadList.size());// 计数器 -1(唤醒阻塞线程)count.countDown();}});}try {// 阻塞线程(主线程等待所有子线程 一起执行业务)count.await();long end = System.currentTimeMillis();System.out.println("100万数据插入查询耗时:" + (end - start) + "ms");} catch (Exception e) {e.printStackTrace();} finally {// 终止线程池// 启动一次顺序关闭，执行以前提交的任务，但不接受新任务。若已经关闭，则调用没有其他作用。executor.shutdown();}}
}

java多线程处理百万数据相关推荐

Java操作百万数据量Excel导入导出工具类（程序代码教程）
Java操作百万数据量Excel导入导出工具类(程序代码教程): # 功能实现1.自定义导入数据格式,支持配置时间.小数点类型(支持单/多sheet)(2种方式:本地文件路径导入(只支持xls.xls ...
Java 近百万数据查询和导出共用时2分钟左右
特别感谢 https://www.cnblogs.com/barrywxx/p/10700283.html 提供的模板导出的技术和思路测试环境: 1.jdk1.8 springboot myba ...
Java 百万数据秒级导出到Excel中
出自: 腾讯课堂 700多分钟干货实战Java多线程高并发高性能实战全集 , 我学习完了之后, 我给老师在课上说的话做了个笔记,以及视频的内容,还有代码敲了一遍,然后添加了一些注释,把执行结果也整理 ...
Caused by: java.sql.SQLException: GC overhead limit exceeded处理百万数据出现的异常
Caused by: java.sql.SQLException: GC overhead limit exceeded处理百万数据出现的异常参考文章: (1)Caused by: java.sql ...
java一次性查询几十万，几百万数据解决办法
java查询一次性查询几十万,几百万数据解决办法很早的时候写工具用的一个办法. 当时是用来把百万数据打包成rar文件. 所以用了个笨办法. 希望高手指导一下,有什么好方法没有啊 1.先批量查出所有 ...
多线程处理大量数据 java
项目场景: 简述项目相关背景: 例如:获取大量数据并处理,生成execl文件导出问题描述: 5W条数据处理后生成execl文件需要6个小时,效率慢 APP 中接收数据代码: @Overridepub ...
java 百万数据查询_java一次性查询几十万，几百万数据解决办法
java查询一次性查询几十万,几百万数据解决办法很早的时候写工具用的一个办法. 当时是用来把百万数据打包成rar文件. 所以用了个笨办法. 希望高手指导一下,有什么好方法没有啊 1.先批量查出所有 ...
java查询几万条数据_java一次性查询几十万，几百万数据解决办法(转载)
0hB)H"aK ZJ%K Z0java查询一次性查询几十万,几百万数据解决办法51Testing软件测试网0L?pAzOk51Testing软件测试网2@ai.g\1p 很早的时候写工具用 ...
java查询几万条数据_java一次性查询几十万，几百万数据解决办法
java一次性查询几十万,几百万数据解决办法 java查询一次性查询几十万,几百万数据解决办法很早的时候写工具用的一个办法. 当时是用来把百万数据打包成rar文件. 所以用了个笨办法. 希望高手指 ...

java多线程处理百万数据

java多线程处理百万数据相关推荐

最新文章

热门文章