【bigdata】1.hadoop 集群搭建

安装虚拟机

• 打开 VMware-》文件-》新建虚拟机：
• 默认典型，下一步
  
• 选择镜像文件位置，下一步
  
• 设置用户名密码，下一步（注意，有些镜像是在安装过程中设置，我用的镜像是：CentOS-7-x86_64-DVD-1804.iso，18 年版本的都能先设置用户名密码，后面全程自动安装）
  
• 设置虚拟机名称和位置，下一步
  
• 设置磁盘大小，下一步
  
• 默认配置，点击完成，然后就等待系统安装完成（其它硬件配置可以后面再修改）
  
• 虚拟机配置修改，网络连接选择 NAT 模式，其他配置根据自己电脑情况修改
  

配置 ip，hostname

1. 打开 VMware-》编辑-》虚拟网络编辑器
   设置子网 ip：
   
   点击 NAT 设置，设置网关地址（这里的网关地址就是虚拟机里面需要配置的网关地址）：
   
   点击 DHCP 设置，设置 IP 地址的范围：
   
2. 打开创建好的虚拟机，配置 IP 地址：

vim /etc/sysconfig/network-scripts/ifcfg-ens33
-- 修改以下配置
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.101
GATEWAY=192.168.1.2
DNS1=192.168.1.2

3.配置 windows 网络适配器，注意几个地方的网关地址和 dns 地址得一致，否则无法使用外网

4.配置主机名
hostnamectl --static set-hostname master

5.配置主机名映射

vim /etc/hosts
-- 添加以下内容
192.168.1.101 master
192.168.1.102 slave1
192.168.1.103 slave2

5.1.关闭防火墙

-- 关闭防火墙
systemctl stop firewalld
-- 开机不启动
systemctl disable firewalld

5.2.配置普通用户拥有 root 权限

vim /etc/sudoers
-- 在%wheel下面添加普通用户（lihai）
lihai   ALL=(ALL)     NOPASSWD: ALL

5.3.重启虚拟机

6.克隆虚拟机，右键已经创建好的虚拟机名称-》管理-》克隆

下一步

下一步

创建完整克隆，下一步

设置虚拟机名称和位置，点击完成

7.修改克隆的虚拟机 ip 和主机名，见步骤 2，步骤 4

配置免密登录

1. master 节点配置 root 用户免密登录到 master，slave1，slave2
2. master 节点配置普通用户免密登录到 master，slave1，slave2
3. slave1 节点配置普通用户免密登录到 master，slave1，slave2

ssh-keygen -t rsa --连敲三个回车
ssh-copy-id master --根据提示输入yes，master的密码
ssh-copy-id slave1 --根据提示输入yes，slave1的密码
ssh-copy-id slave2 --根据提示输入yes，slave2的密码
-- 每个步骤都需要执行上面的所有命令

配置分发脚本，普通用户登录

vim /home/lihai(这里是普通用户名)/bin/xsync

配置 Java 环境

新建两个目录：

/opt/module:软件安装目录
/opt/software:软件包存放目录
修改目录权限为普通用户（lihai）：chown lihai:lihai /opt/module /opt/software


上传 tar 包到 master
解压 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/<span> </span>
配置环境变量

sudo vim /etc/profile.d/my_env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin


使环境变量生效

source /etc/profile.d/my_env.sh
验证是否成功

java -version
分发 jdk

xsync /opt/module/jdk1.8.0_212/
分发环境变量配置

sudo /home/lihai/bin/xsync /etc/profile.d/my_env.sh
在 slave1，slave2 中使环境变量生效

source /etc/profile.d/my_env.sh