错误：Unable to load native-hadoop library for your platfor

在CentOS6.4上安装完hadoop2.5以后，使用以下命令：

hadoop fs -ls /
提示： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

有个WARN提示hadoop不能加载本地库，这个问题是由于在apache hadoop官网上下载的hadoopXXX.bin.tar.gz是在32位的机器上编译的，我集群使用的64bit。

解决办法如下：

1. 下载hadoop2.5源码
2. 在集群的某台机器上编译
3. 替换之前的$HADOOP_HOME/lib/native为新编译的native目录

其中有几点注意的：

（1）在2(进行编译)之前，先修改maven安装目录下conf/settings.xml(因为maven使用的国外的reposity，国内有时无法访问，修改为国内镜像即可)，<mirrors></mirros>里添加，其他的不需改动,具体修改如下：

   <mirror><id>nexus-osc</id><mirrorOf>*</mirrorOf><name>Nexusosc</name><url>http://maven.oschina.net/content/groups/public/</url></mirror>

同样，在<profiles></profiles>内新添加

<profile><id>jdk-1.7</id><activation><jdk>1.7</jdk></activation><repositories><repository><id>nexus</id><name>local private nexus</name><url>http://maven.oschina.net/content/groups/public/</url><releases><enabled>true</enabled></releases><snapshots><enabled>false</enabled></snapshots></repository></repositories><pluginRepositories><pluginRepository><id>nexus</id><name>local private nexus</name><url>http://maven.oschina.net/content/groups/public/</url><releases><enabled>true</enabled></releases><snapshots><enabled>false</enabled></snapshots></pluginRepository></pluginRepositories></profile>

修改完成后使用以下命令编译hadoop;

mvn package -Dmaven.javadoc.skip=true -Pdist,native -DskipTests -Dtar

然后就是等待，大概20min后，build success，目标在

hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0.tar.gz

（2）在编译成功后，将新的lib/native替换到集群中原来的lib/native，记得要修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh，在最后加上;

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

======

重新运行如下命令：

hadoop fs -ls

WARN消失！

错误：Unable to load native-hadoop library for your platfor相关推荐

Unable to load class ‘org.gradle.api.internal.plugins.DefaultConvention‘
错误 Unable to load class 'org.gradle.api.internal.plugins.DefaultConvention'. 原因 IDE与Gradle不兼容. 解决办法 ...
Hadoop “Unable to load native-hadoop library for y
2019独角兽企业重金招聘Python工程师标准>>> http://devsolvd.com/questions/hadoop-unable-to-load-native-hado ...
hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
Hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform ...
解决Hadoop运行时的WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform
每次运行hdfs命令时,都会出现下图的警告: 问题:每次运行hdfs命令时,都会出现下图的警告: WARN util. NativeCodeLoader: Unable to load native- ...
运行hadoop指令之——WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform....
每天都会遇到新的问题,每件事他没有唯一的解决方法,善于发现问题,善于解决问题,这是你走向成功的一门法宝,与其在问题困扰上纠结,还不如去尝试解决的方法,, ----------送给正在寻找答案的你今天 ...
java jna java.lang.UnsatisfiedLinkError: Unable to load library Native library (win32-x86-64/C:\User
背景在新装的win系统下,java项目人脸识别项目要调用动态库,下面就说说问题问题 Exception in thread "main" java.lang.Unsatisfi ...
[已解决]hadoop报错： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor
环境宿主机:Windows 10 64_bit 虚拟机:VMware pro 12 CentOS 7.5 64_bit(3台:1个master.2个slave) Hadoop-2.6.5 ssh工具 ...
【Hadoop】解决Hadoop Unable to load native-hadoop library问题
1.启动Hadoop提示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform- usin ...
Unable to load the Wrapper's native library because none of the following files及解决方法
在有几个应用中,在启动的时候发现下列警告: The version of the script (3.5.29) doesn't match the version of this Wrapper ( ...

错误：Unable to load native-hadoop library for your platfor

错误：Unable to load native-hadoop library for your platfor相关推荐

最新文章

热门文章