一、原因分析

当hadoop配置完成运行类似 bin/hdfs dfs ....之类的命令时，有时候会出现以下警告：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

意思是当前平台不能加载（不兼容）hadoop包，hadoop包在lib目录下

也有人说这是hadoop的预编译包是32bit的，运行在64bit上就会有问题，下面看一下是不是这个问题。

如何验证64bit还是32bit?

进入hadoop 的 lib/native目录下：

$ cd /opt/modules/hadoop-2.9.1/lib/native

用ldd命令查看依赖库

$ ldd libhadoop.so.1.0.0

会输出如下信息：

[whj@whj01 native]$ ldd libhadoop.so.1.0.0
./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
   linux-vdso.so.1 => (0x00007ffe007d0000)
   libdl.so.2 => /lib64/libdl.so.2 (0x00007f27e5ca9000)
   libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f27e5a8b000)
   libc.so.6 => /lib64/libc.so.6 (0x00007f27e56f7000)
   /lib64/ld-linux-x86-64.so.2 (0x00007f27e60d8000)

可以看到依赖的都是/lib64/的动态库，所以不是64位/32位问题。但是看到报错，GLIBC_2.14找不到，现在检查系统的glibc库, ldd --version即可检查。
输入命令：

$ ldd --version

原来系统预装的glibc库是2.12版本，而hadoop期望是2.14版本，所以打印警告信息。

二、解决办法

方法一：

下载对应版本的源码包进行编译，编译成功后将HADOOP_HOME/lib/native/目录下的内容用编译后的内容全部替换。

hadoopa源码编译请参考《本地编译Hadoop2.9.1源码总结》，这里详细介绍了hadoop源码的编译步骤。

替换后即可成功解决警告问题

方法二：

直接在log4j日志中去除告警信息，在HADOOP_HOME/hadoop-2.9.1/etc/hadoop/log4j.properties文件中添加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

Hadoop警告：WARN util.NativeCodeLoader相关推荐

消除Hadoop警告WARN util.NativeCodeLoader
刚刚部署完Hadoop集群,使用hdfs命令时老是会报一堆警告,虽然没有妨碍到集群正常运行,但是很烦人例如:WARN util.NativeCodeLoader: Unable to load na ...
hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
Hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform ...
解决Hadoop运行时的WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform
每次运行hdfs命令时,都会出现下图的警告: 问题:每次运行hdfs命令时,都会出现下图的警告: WARN util. NativeCodeLoader: Unable to load native- ...
运行hadoop指令之——WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform....
每天都会遇到新的问题,每件事他没有唯一的解决方法,善于发现问题,善于解决问题,这是你走向成功的一门法宝,与其在问题困扰上纠结,还不如去尝试解决的方法,, ----------送给正在寻找答案的你今天 ...
[已解决]hadoop报错： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor
环境宿主机:Windows 10 64_bit 虚拟机:VMware pro 12 CentOS 7.5 64_bit(3台:1个master.2个slave) Hadoop-2.6.5 ssh工具 ...
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo
安装 hadoop 2.4.1 报错信息 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platf ...
[大数据入门]解决centos6.5中WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor
解决centos6.5中WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor [大数据入门 ...
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform- using builti ...
hadoop启动就出现 WARN util.NativeCodeLoader:... using builtin的解决方法
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51538611 启动后出现如下错误. 问题在哪里?有人说这是hadoop的预编译包是 ...

Hadoop警告：WARN util.NativeCodeLoader

一、原因分析

二、解决办法

Hadoop警告：WARN util.NativeCodeLoader相关推荐

最新文章

热门文章