Hadoop学习笔记

编译，由于官网上下载的是32位版本的，如果我们的服务器是64位的，需要自己手动编译

• 安装必要的包

  $ yum install autoconf automake libtool cmake ncurses-devel openssl-devel gcc* --nogpgcheck

• 安装maven

  http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

  添加环境变量

  export MAVEN_HOME=/usr/local/apache-maven-3.3.9/
  export PATH=$MAVEN_HOME/bin:$PATH

• 安装protobuf

  http://pan.baidu.com/s/1pJlZubT
  $ ./configure --prefix=/usr/local/protoc/
  $ make && make install
  $ protoc --version

• 编译Hadoop(编译好的Hadoop位于当前目录下的hadoop-dist)

  $ mvn package -Pdist,native -DskipTests -Dtar

安装

1. 安装前请先安装jdk

2. 配置hadoop

   • 进入etc/hadoop
   • 修改hadoop-env.sh，添加java环境变量（根据Hadoop自己的方式找有可能找不到，这里我们直接指定）

   • 修改core-site.xml

     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://centos100.annpeter.cn:9000</value>
     </property>
     <property>
         <name>hadoop.tmp.dir</name> <!--hadoop工作目录-->
         <value>/usr/local/hadoop-2.7.2/tmp</value>
     </property>

   • 修改hdfs-site.xml

     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>

   • 修改mapred-site.xml

     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>

   • 修改yarn-site.xml

     <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>centos100.annpeter.cn</value>
     </property>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>

3. 启动
   在启动前，我们可以将Hadoop的命令加入环境变量

   export HADOOP_HOME=/usr/local/hadoop-2.7.2
   export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

   关闭防火墙

   $ service iptables stop
   $ chkconfig iptables off

   格式化文件系统

   $ hadoop namenode -format

   启动HFS

   $ start-dfs.sh

   启动后可以使用jps查看启动的进程

   启动yarn(启动后，可以通过浏览器访问50070端口，查看你的DFS)

   $ start-yarn.sh

   测试文件存储功能，上传、下载一个文件(在写路径时，可以直接写uri，省略协议和域名)

   $ hadoop fs -put XX.tar.gz hdfs://centos100.annpeter.cn
   $ hadoop fs -get /XX.tar.gz

   测试运行jar(Hadoop安装目录中有一个例子程序/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar)

   $ hadoop jar hadoop-mapreduce-examples-2.7.2.jar pi 5 5 (计算圆周率pi)