CDH Hadoop 安装 step by step

1. 选用了CDH版本

参考：hadoop CDH

2. 选用了CDH最新版本 5.12

参考：Download CDH 5.12.0

3. MRv1和YARN的选择：选用YARN

参考：YARN与MRv1的对比

4. 最后选用了tarball版本，单机测试

参考：

1) Hadoop-2.5.0-cdh5.3.2 搭建单机伪分布

2) hadoop cdh5单机安装

5. hbase，同样选用了tarball版本

参考：CDH5 hadoop-hive-habse单机版配置

6. hive

参考：

1) Hive 1.1.0 集群安装配置

2) hadoop入门第七步---hive部署安装（apache-hive-1.1.0）

3) CDH5.4.5手动安装hive-1.1.0-cdh5.4.5

无水版本

1. 安装java 8

2. 设置单机ssh免密登录

3. 下载CDH tarball版本的安装包

4. 安装单机版本的Hadoop

1) 设置环境变量

vim ~/.bashrc

新增内容如下：

export HADOOP_BASE_HOME=/home/hadoop/share/hadoop
export HADOOP_HOME=${HADOOP_BASE_HOME}/hadoop-2.6.0-cdh5.12.0
export HBASE_HOME=${HADOOP_BASE_HOME}/hbase-1.2.0-cdh5.12.0
export HIVE_HOME=${HADOOP_BASE_HOME}/hive-1.1.0-cdh5.12.0
export PATH=PATH:{HADOOP_HOME}/bin:{HADOOP_HOME}/sbin{HBASE_HOME}/bin:${HIVE_HOME}/bin

2) 编辑 ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

修改对应的行：

export JAVA_HOME=/usr/local/java/

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/abeffect/data/hadoop</value>
        </property>
        <property>
                 <name>fs.default.name</name>
                 <value>hdfs://localhost:9000</value>
        </property>
</configuration>

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/abeffect/data/nameNode</value>
                <final>true</final>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/home/abeffect/data/dataNode</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
               <name>dfs.permissions</name>
               <value>false</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

编辑 ${HADOOP_HOME}/etc/hadoop/mapred-site.xml

<configuration>
       <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.job.tracker</name>
                <value>localhost:90010</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>loclhost</value>
                <description>hostanem of RM</description>
        </property>
        <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce.shuffle</value>
                 <description>shuffle service that needs to be set for Map Reduce to run </description>
         </property>
         <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
         </property>
</configuration>

hdfs namenode -format 

正常会有提示：common.Storage: Storage directory /home/abeffect/data/nameNode has been successfully formatted.

7) 启动集群 start-all.sh

8) 访问：http://localhost:50070 来查看web页面

5. 安装单机版本的hbase

1) 下载 tar

2) 编辑 vim ${HBASE_HOME}/conf/hbase-env.sh 

修改对应的行

export JAVA_HOME=/usr/local/java/

export HBASE_MANAGES_ZK=true

3) 编辑 vim ${HBASE_HOME}/conf/hbase-site.xml

修改对应的行

<configuration>
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://localhost:9000/hbase</value>
	</property>
</configuration>

4) 启动 

start-hbase.sh

5) 检测状态：

hbase hbck

结果有：

Status: OK

6) 启动web页面

hbase rest start

6. 安装单机版本的hive

1) 下载tarball文件

2) 编辑 ${HIVE_HOME}/bin/hive-config.sh 文件

export JAVA_HOME=/usr/local/java
export HADOOP_BASE_HOME=/home/abeffect/share/hadoop
export HADOOP_HOME=${HADOOP_BASE_HOME}/hadoop-2.6.0-cdh5.12.0
export HBASE_HOME=${HADOOP_BASE_HOME}/hbase-1.2.0-cdh5.12.0
export HIVE_HOME=${HADOOP_BASE_HOME}/hive-1.1.0-cdh5.12.0
export PATH=PATH:{HADOOP_HOME}/bin:{HADOOP_HOME}/sbin:{HBASE_HOME}/bin:${HIVE_HOME}/bin

export CLASSPATH=.:JAVA_HOME/lib/dt.jar:JAVA_HOME/lib/tools.jar:HIVE_HOME/lib:{HBASE_HOME}/lib

hive的元数据库可以用自身的derby，也可以用mysql

4) 重命名

mv ${HIVE_HOME}/conf/hive-env.sh.template ${HIVE_HOME}/conf/hive-env.sh

编辑 ${HIVE_HOME}/conf/hive-env.sh

末尾增加

export HADOOP_BASE_HOME=/home/abeffect/share/hadoop
export HADOOP_HOME=${HADOOP_BASE_HOME}/hadoop-2.6.0-cdh5.12.0
export HIVE_HOME=${HADOOP_BASE_HOME}/hive-1.1.0-cdh5.12.0
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export HIVE_AUX_JARS_PATH=${HIVE_HOME}/lib