hadoop 学习问题汇总

1. 运行命令的时候出现 Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

$ export HADOOP_ROOT_LOGGER=DEBUG,console # 输出日志

$ hadoop fs -ls /

输出结果如下

18/12/30 18:45:50 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: /usr/local/hadoop/lib/native/libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /usr/local/hadoop/lib/native/libhadoop.so.1.0.0)
18/12/30 18:45:50 DEBUG util.NativeCodeLoader: java.library.path=/usr/local/hadoop/lib/native
18/12/30 18:45:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

根据输出分析，支持的 glibc 为 GLIBC2.14，我们手动安装一下

1. 下载地址：http://ftp.gnu.org/gnu/glibc/，找到 glibc-2.14.tar.gz 下载；

2. 解压到任意路径下，我的解压路径/usr/local；

1.1 安装 glibc

$ cd glibc-2.14

$ mkdir build

$ cd build

1.2 运行 configure 配置,安装

$ ../configure --prefix=/opt/glibc-2.14

$ sudo make -j4 # 这个时间可能稍微长些

$ sudo make install

1.3 配置

$ cp /etc/ld.so.c* /opt/glibc-2.14/etc/

cp: omitting directory `/etc/ld.so.conf.d'

$ sudo ln -sf /opt/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6

查看版本库的支持

strings /lib64/libc.so.6 | grep GLIBC