hdfs或hive的snappy.parquet文件查看

1.安装python3环境

yum update

查询yum list python3

yum -y install python3

验证：
python3 -V

>>>>>Python 3.6.8

pip3 -V

>>>>>pip 9.0.3 from /usr/lib/python3.6/site-packages (python 3.6)

2.安装parquet-tools

pip install Cython
pip install parquet-tools

3.打开parquet文件

parquet-tools show *.snappy.parquet > parquet.log

parquet.log里就可以看到文件内容了

hdfs或hive的snappy.parquet文件查看相关推荐

hive处理snappy压缩文件
为什么80%的码农都做不了架构师?>>> 这是WordCount的下集. 上周五往hdfs文件系统上传了620G的文件,然后在上面跑了一个wc(MR)任务,运行3个半小时跑出了 ...
0464-如何离线分析HDFS的FsImage查找集群小文件
Fayson的github: https://github.com/fayson/cdhproject 推荐关注微信公众号:"Hadoop实操",ID:gh_c4c535955d0 ...
【hive】hive常见的几种文件存储格式与压缩方式的结合-------Parquet格式+snappy压缩以及ORC格式+snappy压缩文件的方式
一.使用Parquet存储数据数据使用列存储之前是普通的行存储,下面是行存储的的文件大小,这个HDFS上的数据使用parquet列存储,可以将文件的大小减小化.下面具体讲parquet存储数据的代 ...
HIVE Parquet格式+snappy压缩及ORC格式+snappy压缩文件的方式
一.使用Parquet存储数据数据使用列存储之前是普通的行存储,下面是行存储的的文件大小,这个HDFS上的数据使用parquet列存储,可以将文件的大小减小化.下面具体讲parquet存储数据的代 ...
Spark读取HDFS上的Snappy压缩文件所导致的内存溢出问题 java.lang.OutOfMemoryError: GC overhead limit exceeded
报错java.lang.OutOfMemoryError: GC overhead limit exceeded HDFS上有一些每天增长的文件,使用Snappy压缩,突然某天OOM了 1.原因: 因 ...
利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到网站:https://www.captainai.net/dongkelun 前言在最开始学习Hudi源码 ...
hive操作tmp文件查看内容报错
一.hive操作tmp文件查看内容报错 Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":hado ...
hdfs如何查找指定目录是否文件_hadoop实战教程-HDFS文件系统如何查看文件对应的block...
问题导读: 1.文件与block的信息被保存在什么文件中? 2.如何查看整个目录树? 3.可以通过什么方式查看文件与block的对应关系? (1)文件分割后,会有一个文件 --> block的 ...
查看parquet文件工具parquet-tools
文章目录下载安装用法示例下载地址安装 pip install parquet-tools 用法 $ parquet-tools --help usage: parquet-tools [ ...

hdfs或hive的snappy.parquet文件查看

1.安装python3环境

2.安装parquet-tools

3.打开parquet文件

hdfs或hive的snappy.parquet文件查看相关推荐

最新文章

热门文章