Cloudera 集群主机系统环境配置

【原创】
本文作者：Denghui.Zhou，欢迎交流讨论。
原文链接：https://jianwi.com/articles/bigdata/cloudera/host_env.html
版权声明：原创不易，转载请注明出处，谢谢！

• 各主机修改 vm.swappiness

cat /proc/sys/vm/swappiness
# 系统默认的swappiness值为30
sysctl vm.swappiness=10
# 使永久生效
TARGET_FILE='/etc/sysctl.conf'
TMP_STR='vm.swappiness = 10'
SED_DEL_CMD="sed -i '/^"$TMP_STR"\$/d' $TARGET_FILE"
SED_APPEND_CMD="sed -i '\$a"$TMP_STR"' $TARGET_FILE"
echo $SED_DEL_CMD' && '$SED_APPEND_CMD | bash

• 最好删除 swap 分区

swapoff /swap && rm -rf /swap
# 删除swap分区开机自动挂载策略
sed -i '/^\/swap swap swap default 0 0$/d' /etc/fstab

• 各主机关闭 SELinux

setenforce 0
sed -i 's/^SELINUX=.*$/SELINUX=disabled/' /etc/selinux/config

• 各主机关闭防火墙，或者开放指定端口

service iptables stop
chkconfig iptables off
# 关闭firewalld
systemctl stop firewalld
systemctl disable firewalld

• 各主机禁止页面压缩

chmod +x /etc/rc.d/rc.local
vi /etc/rc.local

添加如下内容：

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
  echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
  echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

• 删除无权限的 lib 目录

cd /var/lib
rm -rf flume-ng hadoop-* hbase hive impala llama oozie sentry solr spark sqoop sqoop2 zookeeper