编译,由于官网上下载的是32位版本的,如果我们的服务器是64位的,需要自己手动编译
安装必要的包
$ yum install autoconf automake libtool cmake ncurses-devel openssl-devel gcc* --nogpgcheck
安装maven
http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
添加环境变量
export MAVEN_HOME=/usr/local/apache-maven-3.3.9/
export PATH=$MAVEN_HOME/bin:$PATH安装protobuf
http://pan.baidu.com/s/1pJlZubT
$ ./configure --prefix=/usr/local/protoc/
$ make && make install
$ protoc --version编译Hadoop(编译好的Hadoop位于当前目录下的hadoop-dist)
$ mvn package -Pdist,native -DskipTests -Dtar
安装
安装前请先安装jdk
配置hadoop
- 进入etc/hadoop
- 修改hadoop-env.sh,添加java环境变量(根据Hadoop自己的方式找有可能找不到,这里我们直接指定)
修改core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://centos100.annpeter.cn:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name> <!--hadoop工作目录-->
<value>/usr/local/hadoop-2.7.2/tmp</value>
</property>
修改hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
修改mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>centos100.annpeter.cn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
启动
在启动前,我们可以将Hadoop的命令加入环境变量export HADOOP_HOME=/usr/local/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH关闭防火墙
$ service iptables stop
$ chkconfig iptables off格式化文件系统
$ hadoop namenode -format
启动HFS
$ start-dfs.sh
启动后可以使用jps查看启动的进程
启动yarn(启动后,可以通过浏览器访问50070端口,查看你的DFS)
$ start-yarn.sh
测试文件存储功能,上传、下载一个文件(在写路径时,可以直接写uri,省略协议和域名)
$ hadoop fs -put XX.tar.gz hdfs://centos100.annpeter.cn
$ hadoop fs -get /XX.tar.gz测试运行jar(Hadoop安装目录中有一个例子程序/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar)
$ hadoop jar hadoop-mapreduce-examples-2.7.2.jar pi 5 5 (计算圆周率pi)
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于