简介

工作的时候，需要将一个大的文本文件按行分割成几个小文件。本来懒得写，想网上copy一下得了，但是 google 了一遍，找了几个代码写的有点乱，尝试了之后发现效率太慢了，一个 1000000 行 200M 的文件，按每个文件 2000 行分割，要6分多钟才能跑完。没办法自己写了个，试了几次，基本都是 4 秒内跑完，贴出来记录下，下次用就直接 copy 出来用。

代码

public static List<File> splitDataToSaveFile(int rows, File sourceFile, String targetDirectoryPath) {long startTime = System.currentTimeMillis();List<File> fileList = new ArrayList<>();log.info("开始分割文件");File targetFile = new File(targetDirectoryPath);if (!sourceFile.exists() || rows <= 0 || sourceFile.isDirectory()) {return null;}if (targetFile.exists()) {if (!targetFile.isDirectory()) {return null;}} else {targetFile.mkdirs();}try (FileInputStream fileInputStream = new FileInputStream(sourceFile);InputStreamReader inputStreamReader = new InputStreamReader(fileInputStream, StandardCharsets.UTF_8);BufferedReader bufferedReader = new BufferedReader(inputStreamReader)) {StringBuilder stringBuilder = new StringBuilder();String lineStr;int lineNo = 1, fileNum = 1;while ((lineStr = bufferedReader.readLine()) != null) {stringBuilder.append(lineStr).append("\r\n");if (lineNo % rows == 0) {File file = new File(targetDirectoryPath + File.separator + fileNum + sourceFile.getName());writeFile(stringBuilder.toString(), file);//清空文本stringBuilder.delete(0, stringBuilder.length());fileNum++;fileList.add(file);}lineNo++;}if ((lineNo - 1) % rows != 0) {File file = new File(targetDirectoryPath + File.separator + fileNum + sourceFile.getName());writeFile(stringBuilder.toString(), file);fileList.add(file);}long endTime = System.currentTimeMillis();log.info("分割文件结束，耗时：{}秒", (endTime - startTime) / 1000);} catch (Exception e) {log.error("分割文件异常", e);}return fileList;}private static void writeFile(String text, File file) {try (FileOutputStream fileOutputStream = new FileOutputStream(file);OutputStreamWriter outputStreamWriter = new OutputStreamWriter(fileOutputStream, StandardCharsets.UTF_8);BufferedWriter bufferedWriter = new BufferedWriter(outputStreamWriter, 1024)) {bufferedWriter.write(text);} catch (IOException e) {e.printStackTrace();}}

Java按行分割大文件相关推荐

java切割文件_Java实现按行分割大文件
简介工作的时候,需要将一个大的文本文件按行分割成几个小文件.本来懒得写,想网上copy一下得了,但是 gLoLdchFGpoogle 了一遍,找了几个代码写的有点乱,尝试了之后发现效率太慢了,一个 ...
java 按行读取大文件文件内容_Java实现按行读取大文件
Java实现按行读取大文件 String file = "F:" + File.separator + "a.txt"; FileInputStream fis ...
Java按行读取大文件
通常读取一个文件都是直接把这个文件转化为流的形式,但是对于一个容量为几个G的文件,这很显然是不明智的做法,当前我需要将几个G的文件读取,然后插入到数据库,使用的是一个commons的jar包,尝试了一 ...
JAVA之NIO按行读写大文件，完美解决中文乱码问题
JAVA之NIO按行读写大文件,完美解决中文乱码问题参考文章: (1)JAVA之NIO按行读写大文件,完美解决中文乱码问题 (2)https://www.cnblogs.com/jpfss/p/89 ...
java实现把一个大文件切割成N个固定大小的文件
这个好像是我一年前去面试时的一道面试题,分享一下!考 java I/O 的! //java实现把一个大文件切割成N个固定大小的文件 package com.johnny.test; import ja ...
linux中split分割文件打开方式,Linux系统下使用split命令分割大文件 (转载)
[小蜗牛闲情之作 ] 我想给一个朋友传一个大视频,有几百M,尝试多种传输办法失败后,最后想到的是把视频切开一片片"邮递"过去给他,让它自己组装起来吧. [root@pps publ ...
linux文件分割命令性能,Linux系统下使用split命令分割大文件 (转载)
[小蜗牛闲情之作 ] 我想给一个朋友传一个大视频,有几百M,尝试多种传输办法失败后,最后想到的是把视频切开一片片"邮递"过去给他,让它自己组装起来吧. [root@pps publ ...
JAVA实现服务器间拷贝文件,寻找在Java服务器之间传输大文件的好方法
在这个项目中有一个主要的数据库服务器,其他安装在不同地方的服务器维护着自己的本地数据库.我们必须允许每个系统将其本地数据库更新为主要数据库上的任何版本.所有的服务器都运行Java环境.寻找在Java服 ...
linux 分隔大文件,linux系统下分割大文件的方法
本文介绍下在linux系统中,分割大文件的方法,比如一个5gb日志文件切割为很多小块. 在linux中分割大文件,比如一个5gb日志文件,需要把它分成多个小文件,分割后以利于普通的文本编辑器读取. 有 ...

Java按行分割大文件

简介

代码

Java按行分割大文件相关推荐

最新文章

热门文章