java 自动识别并解压HDFS压缩文件

使用java读取gz压缩的hdfs文件

根据hdfs文件的后缀类型自动识别并解压：

     Path hdfsPath = new Path(args[0]);Configuration conf = new Configuration();FileSystem fs = FileSystem.get(hdfsPath.toUri(),conf); CompressionCodecFactory factory = new CompressionCodecFactory(conf);CompressionCodec codec = factory.getCodec(hdfsPath);FSDataInputStream inputStream = fs.open(hdfsPath);BufferedReader reader = null;try {if (codec == null) {reader = new BufferedReader(new InputStreamReader(inputStream));} else {CompressionInputStream comInputStream = codec.createInputStream(inputStream);reader = new BufferedReader(new InputStreamReader(comInputStream));}} catch (Exception e) {e.printStackTrace();}

java 自动识别并解压HDFS压缩文件相关推荐

java util zip.zipexc,JAVA解压zip压缩文件的实例
今天在弄一个东西,需要在PL/SQL中解压zip的压缩包,刚开始的时候是想着直接在PLSQL中调用java,在java里面调用unzip的shell命令来解析压缩文件,但是比较悲剧,一直老是失败,在尝 ...
关于使用zip4j实现解压与压缩文件,以及向压缩文件中添加文件 , 解压带密码的压缩文件 , 向压缩文件添加密码
解压与压缩文件 1.Zip4j介绍 zip4j官网:http://www.lingala.net/zip4j/ 可以在"download"页面下载官方示例进行学习. 特征: 从Zi ...
python 图像压缩后前端解压_Python在后台自动解压各种压缩文件的实现方法
1.需求描述编写一个 Python 程序,每次下载压缩包形式的文件后,自动将内部文件解压到当前文件夹后将压缩包删除,通过本案例可以学到的知识点: os 模块综合应用 glob 模块综合应用利用 g ...
dmsetup remove_all 这命令干啥的_分一个小知识，服务器上的一个解压与压缩文件的命令....
在服务器上对文件做解压操作,是一件非常常见的操作,如安装软件就有很多是要用的到这个操作的.去官网下载一个压缩包,然后解压,编译,再安装.当然网上是能找到相应的命令操作.但是每次都要去找命令,就算记住了 ...
linux常用解压和压缩文件的命令
linux常用解压和压缩文件的命令 .tar 解包:tar xvf FileName.tar 打包:tar cvf FileName.tar DirName (注:tar是打包,不是压缩!) ---- ...
ubuntu18.04怎么解压rar压缩文件
ubuntu18.04怎么解压rar压缩文件今天在自己的ubuntu18.04中得到一个rar的压缩文件,在windows下使用的winrar软件,在这里又安装不上,后来发现有一些开源的解压软件可以 ...
Linux 解压，压缩文件--tar 命令
其实在Linux中,有许多种解压,压缩文件的命令,本博客介绍 tar 命令如果Linux 系统不能运行tar 命令的朋友,先安装一下: 1)安装 1.apt-get 方式安装: sudo apt-g ...
Ubuntu下安装rar软件，解压rar压缩文件方法
1.下载rar软件 wget https://www.rarlab.com/rar/rarlinux-x64-5.9.0.tar.gz 2.解压并安装rar软件 tar -zxvf rarlinux- ...
递归遍历文件夹，递归解压，压缩文件，写解压和压缩过程的日志，
前言:好久好久没另写一篇博客了,都是在更新QT常用函数里面内容,这瘟疫影响了我躁动奋进的心,又是大半年没努力了,气人! 这次做的是个多个压缩包将压缩包里面的内容合并起来打包成对应的压缩包的工具. ...

java 自动识别并解压HDFS压缩文件

java 自动识别并解压HDFS压缩文件相关推荐

最新文章

热门文章