单节点安装 cdh 版 hdfs hive

本篇文章单节点安装 hdfs hive ，实乃学习大数据必备的教程，环境为：Centos7 JDK8.0 cdh5.15.1

下载地址： http://archive.cloudera.com/cdh5/cdh/5/

hadoop 版本：hadoop-2.6.0-cdh5.15.1.tar.gz

hive: http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz

官方 hadoop 单节点安装教程： http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

关闭防火墙

systemctl status firewalld.service

systemctl disable firewalld.service

配置 java 环境变量

export JAVA_HOME=/usr/local/java

export CLASSPATH=.:JAVA_HOME/jre/lib/rt.jar:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=PATH:JAVA_HOME/bin

配置 ssh 免密登录

注意：单节点机器也需要配置本机 ssh 无密码登录 ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

chmod g-w authorized_keys 设置权限 否则不起效

解压到 app 目录

/home/hadoop/app/hadoop-2.6.0-cdh5.15.1

• hadoop 目录基本了解
• bin/ hadoop 客户端
• etc/hadoop hadoop 相关配置目录
• sbin 启动 hadoop 相关进程脚本
• share 示例程序

配置 hadoop-env.sh

vim hadoop-env.sh

#配置 java_home
export JAVA_HOME=/usr/local/java/jdk1.8.0_221

配置 core-site.xml

配置 HDFS 文件默认系统主节点和端口

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop:8020</value>
	</property>
</configuration>

配置 hdfs-site.xml

因为是单节点，所以要调整副本系数

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

还需要配置 hadoop.tmp.dir 临时目录放在我们 /home/hadop/app/tmp 下

<property>
 <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/app/tmp</value>
 </property>

配置 datanode 机器地址

vim  slaves   填入  hadoop

配置 hadoop 到环境变量

vim ~/.bash_profile
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
export PATH=$HADOOP_HOME/bin:$PATH

启动 hdfs

第一次执行的时候一定要格式化 hdfs 文件系统。

hdfs namenode -format

正式启动 到 hadoop/sbin 目录下面

./start-dfs.sh

浏览器查看 http://192.168.1.100:50070/dfshealth.html#tab-overview

停止 hdfs

./stop-dfs.sh 

单独启动

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode