超大集合数据分片策略

文章目录

超大集合数据分片策略
- 一、实际场景
- 二、解决思路
- 三、实现方法
- - 3.1 Guava
  - 3.2 Common-Collections
  - 3.3 手动编码实现
- 四、总结

一、实际场景

实际项目开发中常常为遇到超大数据量的集合，比如说一个size为100w的List。而往往实际应用中,我们不可能把这么大的数据量进行发送或传递，除了传递耗时过长，还有可能造成服务器内存溢出。所以我们往往将大集合进行数据分片，多次发送来提高灵活性和性能。

二、解决思路

将大集合拆分成若干个集合，然后分别发送或处理这些子集合。

三、实现方法

3.1 Guava

public class Main {public static List<String> ids;static {// 构造测试数据ids = new ArrayList<>(1500000);for (int i = 0; i < 1335810; i++) {ids.add(UUID.randomUUID().toString());}} /*** 1. 使用Guava工具包中Lists.partition()方法*    下面的操作就是将ids按照每个集合10000个的大小进行分割。（注意，最后一个集合可能元素不足10000个）**/@Testpublic void testGuavaTools() {List<List<String>> partitionList = Lists.partition(ids, 10000);System.out.println(partitionList.size());}
}

3.2 Common-Collections

public class Main {public static List<String> ids;static {// 构造测试数据ids = new ArrayList<>(1500000);for (int i = 0; i < 1335810; i++) {ids.add(UUID.randomUUID().toString());}}/*** 2. 使用Apache Common Collections工具包中ListUtils.partition()方法*    下面的操作就是将ids按照每个集合10000个的大小进行分割。（注意，最后一个集合可能元素不足10000个）**/@Testpublic void testCommonCollections() {List<List<String>> partitionList = ListUtils.partition(ids, 10000);System.out.println(partitionList.size());}}

3.3 手动编码实现

public class Main {public static List<String> ids;static {// 构造测试数据ids = new ArrayList<>(1500000);for (int i = 0; i < 1335810; i++) {ids.add(UUID.randomUUID().toString());}} /*** 4. 手动实现集合的数据分片*    下面的操作就是将ids按照每个集合10000个的大小进行分割。（注意，最后一个集合可能元素不足10000个）**/@Testpublic void testByMe() {List<List<String>> partitionList = partition(ids, 10000);System.out.println(partitionList.size());System.out.println(partitionList.get(partitionList.size() - 1).size());}public static <T> List<List<T>> partition(List<T> source, int size) {List<List<T>> result = new ArrayList<>();// 1. 先计算出余数int remainder = source.size() % size;// 2. 商int number = (int) Math.ceil((double) source.size() / (double) size);// 3. 初始偏移量默认为0int offset = 0;List<T> value;for (int i = 0; i < number; i++) {if (i == number - 1) {value = source.subList(i * number + offset, i * number + offset + remainder);} else {value = source.subList(i * number + offset, (i + 1) * number + offset);}result.add(value);}return result;}
}

四、总结

注意：拆分后的每个子集合的数据，必须是可以执行的独立业务单元数据。

Java基础之超大集合数据分片策略相关推荐

Java 基础面试之集合
Java 基础面试之集合 1.Collection接口的实现类答:Collection接口有3个子接口:List.Set.Queue a.List(有序.可重复):的实现类有ArrayList.V ...
java基础入门-04-【集合学生管理系统】
Java基础入门-04-[集合&学生管理系统] 11.集合&学生管理系统 11.1.ArrayList 集合和数组的优势对比: 11.1.1 ArrayList类概述 11.1.2 A ...
Java基础（28）数据输入输出流、内存操作流、打印流、随机访问流、序列化与反序列化流、Properties类（集合）
1. 数据输入输出流 1. 数据输入输出流的概述: (1)以Stream结尾的,一般都是字节流 (2)数据输入流(DataInputStream):数据输入流允许应用程序以与机器无关方式从底层输入流中 ...
Java基础知识与集合部分面试题整理
JAVA基础知识一.JDK与JRE 1.JDK和JRE的区别可从面向对象.主要作用和组成部分三方面对比.如下图所示: 2.JDK – Java Development Kit 1). 主要面向开发 ...
java基础测试大集合今天收罗精选一下Java题适合小白挑战和新手回顾
基础一 1.JRE是什么?作用是什么? JRE是java运行环境.它包含了JVM和一些支撑java运行的核心类库. 2.JDK的是什么?作用是什么? JDK是java开发环境.它包含了运行java所需 ...
跟我学ShardingSphere之数据分片策略
在前面一篇<跟我学ShardingSphere之SpringBoot + ShardingJDBC分库>我们介绍了如何利用ShardingJDBC进行分库,用到了inline行表达式分片策 ...
java基础2.5(集合)
java基础第二阶段之day5 一.集合分类集合类体系结构图: 二.Collection集合 1. Collection介绍 Collection集合,它是单列集合,创建Colection集合的对象 ...
Java基础02 方法与数据成员
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明.谢谢! 在Java基础01 从HelloWorld到面向对象,我们初步了解了对象(obje ...
[F2F] Java基础 (JDK特性/集合/IO/锁)
简介 Java基础包含:JDK特性,集合, IO, 多线程 / 锁,JVM / JVM调优等几大类, 单篇幅限制本文主要为 JDK特性,集合, IO,其他为链接到另一篇文章多线程 / 线程池

Java基础之超大集合数据分片策略

超大集合数据分片策略

文章目录

一、实际场景

二、解决思路

三、实现方法

3.1 Guava

3.2 Common-Collections

3.3 手动编码实现

四、总结

Java基础之超大集合数据分片策略相关推荐

最新文章

热门文章