登录 注册

CDH5.4.3 离线安装

本贴最后更新于 3215 天前，其中的信息可能已经时移世易

Cloudera Manager 下载地址：

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz ，

CDH 安装包地址：

http://archive.cloudera.com/cdh5/parcels/5.4.3/ ，由于我们的操作系统为 CentOS6.5，需要下载以下文件：

· CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel

· CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1

· manifest.json

准备工作：系统环境搭建

以下操作均用 root 用户操作。

1.网络配置(所有节点)

vi /etc/sysconfig/network 修改 hostname：

NETWORKING=yes

HOSTNAME=hadoop.master

通过 service networkrestart 重启网络服务生效。

vi /etc/hosts ,修改 ip 与主机名的对应关系

192.168.226.17 hadoop.master master

192.168.226.18 hadoop.slave1 slave1

192.168.226.19 hadoop.slave2 slave2

192.168.226.20 hadoop. slave3 slave3

注意： 这里需要将每台机器的 ip 及主机名对应关系都写进去，本机的也要写进去，否则启动 Agent 的时候会提示 hostname 解析错误。

2.打通 SSH，设置 ssh 无密码登陆（所有节点）

在主节点上执行 ssh-keygen -trsa 一路回车，生成无密码的密钥对。

将公钥添加到认证文件中： cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys ，并设置 authorized_keys 的访问权限： chmod 600 ~/.ssh/authorized_keys 。

scp 文件到所有 datenode 节点：

scp /.ssh/authorized_keys root@slave1:/.ssh/

测试： 在主节点上 ssh slave1，正常情况下，不需要密码就能直接登陆进去了。

3.安装 Oracle 的 Java（所有节点）

CentOS，自带 OpenJdk，不过运行 CDH5 需要使用 Oracle 的 Jdk，需要 Java 7 的支持。

卸载自带的 OpenJdk，使用 rpm -qa | grepjava 查询 java 相关的包，使用 rpm -e --nodeps 包名 卸载（凡是 java 开头 都卸载）。

去 Oracle 的官网下载 jdk 的 rpm 安装包，并使用 rpm -ivh 包名 安装之。

由于是 rpm 包并不需要我们来配置环境变量，我们只需要配置一个全局的 JAVA_HOME 变量即可，执行命令：

echo"JAVA_HOME=/usr/java/latest/" >> /etc/profile 注意：latest 是 jdk 目录的软连接，所以你使用它或者直接写 jdk 的目录都可以

4.安装配置 MySql（主节点）

安装 mysql 请看 http://blog.csdn.net/wanghui19931015/article/details/52663862

mysql -uroot -p123456 进入 mysql 命令行，创建以下数据库：

#hive

create database hiveDEFAULT CHARSET utf8COLLATEutf8_general_ci;

#activity monitor

create database amonDEFAULTCHARSET utf8COLLATE utf8_general_ci;

设置 root 授权访问以上所有的数据库：

#授权 root 用户在主节点拥有所有数据库的访问权限

grant all privileges on *.*to'root'@'master' identifiedby '123456'with grant option;

grant all privileges on *.*to 'scm'@'%' identifiedby'scm'with grant option;

flush privileges;

5.关闭防火墙和 SELinux

注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

关闭防火墙：

service iptables stop（临时关闭）

chkconfig iptables off（重启后生效）

关闭 SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:

setenforce 0（临时生效）

修改 /etc/selinux/config 下的 SELINUX=disabled（重启后永久生效）

6.所有节点配置 NTP 服务

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。具体思路如下：

master 节点作为 ntp 服务器与外界对时中心同步时间，随后对所有 datanode 节点提供时间同步服务。

所有 datanode 节点以 master 节点为基础同步时间。

所有节点安装相关组件： yum install ntp 。完成后，配置开机启动： chkconfig ntpdon ,检查是否设置成功： chkconfig --list ntpd 其中 2-5 为 on 状态就代表成功。

主节点配置

在配置之前，先使用 ntpdate 手动同步一下时间，免得本机与对时中心时间差距太大，使得 ntpd 不能正常同步。这里选用 master 作为对时中心, ntpdate -u master 。master 主机添加下面信息到/etc/ntp.conf

server 127.127.1.0

fudge 127.127.1.0 stratum 2

restrict 192.168.226.0 mask 255.255.255.0 nomodify notrap

集群其他节点修改/etc/ntp.conf,如下：

Pleaseconsider joining the pool (http://www.pool.ntp.org/join.html).

#server0.centos.pool.ntp.org iburst

#server1.centos.pool.ntp.orgiburst

#server2.centos.pool.ntp.org iburst

#server3.centos.pool.ntp.org iburst

server master

配置文件完成，保存退出，

设置开机启动 chkconfig ntpd on

启动服务，执行如下命令： service ntpdstart

正式开工

安装 Cloudera Manager Server 和 Agent

主节点解压安装

cloudera manager 的目录默认位置在/opt 下，解压： tar xzvfcloudera-manager*.tar.gz 将解压后的 cm-5.4.3 和 cloudera 目录放到/opt 目录下。

为 Cloudera Manager 5 建立数据库

首先需要去 MySql 的官网下载 JDBC 驱动， http://dev.mysql.com/downloads/connector/j/ ，解压后，找到 mysql-connector-java-5.1.39-bin.jar，放到/opt/cm-5.4.3/share/cmf/lib/中。

同时 chmod 755mysql-connector-java-5.1.39-bin.jar

在主节点初始化 CM5 的数据库：

/opt/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hmaster -uroot -p123456 --scm-host master scm scm scm

Agent 配置

修改/opt/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中的 server_host 为主节点的主机名。

修改/opt/cm-5.4.3/lib64/cmf/agent/src/cmf/util.py 文件。

将其中的代码：

pipe = subprocess.Popen(['/bin/bash','-c', ". %s; %s; env" % (path, command)],

                   stdout=subprocess.PIPE,env=caller_env)
​

修改为：

pipe = subprocess.Popen(['/bin/bash','-c', ". %s; %s; env | grep -v { | grep -v }" % (path, command)],

         stdout=subprocess.PIPE, env=caller_env)
​

同步 Agent 到其他节点

scp -r/opt/cm-5.4.3 root@slave1:/opt/

在所有节点创建 cloudera-scm 用户

useradd --system --home=/opt/cm-5.4.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备 Parcels，用以安装 CDH5

将 CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo 需要手动创建）。

相关的文件如下：

· CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel

· CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha1

· manifest.json

最后将 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha1，重命名为 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha，这点必须注意，否则，系统会重新下载 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel 文件。

相关启动脚本

通过 /opt/cm-5.4.3/etc/init.d/cloudera-scm-server start 启动主节点服务端。

通过 /opt/cm-5.4.3/etc/init.d/cloudera-scm-agent start 启动其他节点 Agent 服务。

注意：两个脚本都启动成功，正常运行

需要停止服务将以上的 start 参数改为 stop 就可以了，重启是 restart。

CDH5 的安装配置

Cloudera ManagerServer 和 Agent 都启动以后，就可以进行 CDH5 的安装配置了。

这时可以通过浏览器访问主节点的 7180 端口测试一下了（由于 CM Server 的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为 admin：

1、选择免费版本的 CM5。

2、各个 Agent 节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。

3、接下来，出现以下包名，说明本地 Parcel 包配置无误，直接点继续就可以了。

4、点击，继续。

5、接下来是服务器检查，可能会遇到以下问题：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑/etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

通过 echo 0 >/proc/sys/vm/swappiness 即可解决。

6、接下来是选择安装服务：

服务配置，一般情况下保持默认就可以了（Cloudera Manager 会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）：

接下来是数据库的设置，检查通过后就可以进行下一步的操作了：

7、集群设置的审查页面，保持默认配置的：

终于到安装各个服务的地方了，注意，这里安装 Hive 的时候可能会报错，因为我们使用了 MySql 作为 hive 的元数据存储，hive 默认没有带 mysql 的驱动，通过以下命令拷贝一个就行了：

cp/opt/cm-5.4.3/share/cmf/lib/mysql-connector-java-5.1.39-bin.jar/opt/cloudera/parcels/CDH-5.4.3-1.cdh5.1.3.p0.12/lib/hive/lib/

安装完成后，就可以进入集群界面看一下集群的当前状况了。

测试

在集群的一台机器上执行以下模拟 Pi 的示例程序：

sudo -u hdfs hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi10100

执行过程需要花一定的时间，通过 YARN 的后台也可以看到 MapReduce 的执行状态：

MapReduce 执行过程中终端的输出如下：

Number of Maps =10

Samples per Map =100

Wrote inputfor Map#0

Wrote inputfor Map#1

Wrote inputfor Map#2

Wrote inputfor Map#3

Wrote inputfor Map#4

Wrote inputfor Map#5

Wrote inputfor Map#6

Wrote inputfor Map#7

Wrote inputfor Map#8

Wrote inputfor Map#9

Starting Job

14/10/1301:15:34 INFOclient.RMProxy: Connecting to ResourceManager at n1/192.168.1.161:8032

14/10/1301:15:36 INFOinput.FileInputFormat: Total input paths to process : 10

14/10/1301:15:37 INFOmapreduce.JobSubmitter: number of splits:10

14/10/1301:15:39 INFOmapreduce.JobSubmitter: Submitting tokens for job:job_1413132307582_0001

14/10/1301:15:40 INFOimpl.YarnClientImpl: Submitted application application_1413132307582_0001

14/10/1301:15:40 INFOmapreduce.Job: The url to track the job: http://n1:8088/proxy/application_1413132307582_0001/

14/10/1301:15:40 INFOmapreduce.Job: Running job: job_1413132307582_0001

14/10/1301:17:13 INFOmapreduce.Job: Job job_1413132307582_0001 running in uber mode : false

14/10/1301:17:13 INFOmapreduce.Job: map 0% reduce0%

14/10/1301:18:02 INFOmapreduce.Job: map 10% reduce0%

14/10/1301:18:25 INFOmapreduce.Job: map 20% reduce0%

14/10/1301:18:35 INFOmapreduce.Job: map 30% reduce0%

14/10/1301:18:45 INFOmapreduce.Job: map 40% reduce0%

14/10/1301:18:53 INFOmapreduce.Job: map 50% reduce0%

14/10/1301:19:01 INFOmapreduce.Job: map 60% reduce0%

14/10/1301:19:09 INFOmapreduce.Job: map 70% reduce0%

14/10/1301:19:17 INFOmapreduce.Job: map 80% reduce0%

14/10/1301:19:25 INFOmapreduce.Job: map 90% reduce0%

14/10/1301:19:33 INFOmapreduce.Job: map 100% reduce0%

14/10/1301:19:51 INFOmapreduce.Job: map 100% reduce100%

14/10/1301:19:53 INFOmapreduce.Job: Job job_1413132307582_0001 completed successfully

14/10/1301:19:56 INFOmapreduce.Job: Counters: 49

File System Counters

FILE: Number of bytesread=91

FILE: Number of bytes written=1027765

FILE: Number ofread operations=0

FILE: Number of largeread operations=0

FILE: Number ofwrite operations=0

HDFS: Number of bytesread=2560

HDFS: Number of bytes written=215

HDFS: Number ofread operations=43

HDFS: Number of largeread operations=0

HDFS: Number ofwrite operations=3

Job Counters

Launchedmap tasks=10

Launched reduce tasks=1

Data-local map tasks=10

Totaltime spent by all maps in occupied slots (ms)=118215

Totaltime spent by all reduces in occupied slots (ms)=11894

Totaltime spent by allmap tasks (ms)=118215

Totaltime spent by all reduce tasks (ms)=11894

Total vcore-seconds taken by allmap tasks=118215

Total vcore-seconds taken by all reduce tasks=11894

Total megabyte-seconds taken by allmap tasks=121052160

Total megabyte-seconds taken by all reduce tasks=12179456

Map-Reduce Framework

Map input records=10

Map output records=20

Map output bytes=180

Map output materialized bytes=340

Inputsplit bytes=1380

Combine input records=0

Combine output records=0

Reduce input groups=2

Reduce shuffle bytes=340

Reduce input records=20

Reduce output records=0

Spilled Records=40

Shuffled Maps =10

Failed Shuffles=0

Merged Map outputs=10

GCtime elapsed (ms)=1269

CPUtime spent (ms)=9530

Physical memory (bytes) snapshot=3792773120

Virtual memory (bytes) snapshot=16157274112

Total committed heap usage (bytes)=2856624128

Shuffle Errors

BAD_ID=0

CONNECTION=0

IO_ERROR=0

WRONG_LENGTH=0

WRONG_MAP=0

WRONG_REDUCE=0

File Input Format Counters

Bytes Read=1180

File Output Format Counters

Bytes Written=97

Job Finished in262.659 seconds

Estimated value of Pi is3.14800000000000000000

最后 感谢 http://www.tuicool.com/articles/ENjmeaY/ 博主，因为有这个作为参考，可以让自己尽快的熟悉安装流程。具体要通过 日志 来分析问题。

当然，离线安装后可能会因为一些原因想删除 CDH 重新安装， 这里我会在下一篇文章中会体现。

  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议，并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

    955 引用 • 944 回帖 • 1 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    346 引用 • 760 回帖 • 1 关注
北京 位置
1 感谢
687 8 48 116 44 70 2 42 346

相关帖子

回帖
CDH5.4.3 离线安装

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
MrWang
北京
回帖
3
 帖子
1
 积分
492

近期热议

推荐标签 标签

  • 支付宝

    支付宝是全球领先的独立第三方支付平台，致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验，及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖
  • ReactiveX

    ReactiveX 是一个专注于异步编程与控制可观察数据（或者事件）流的 API。它组合了观察者模式，迭代器模式和函数式编程的优秀思想。

    1 引用 • 2 回帖 • 180 关注
  • IBM

    IBM（国际商业机器公司）或万国商业机器公司，简称 IBM（International Business Machines Corporation），总公司在纽约州阿蒙克市。1911 年托马斯·沃森创立于美国，是全球最大的信息技术和业务解决方案公司，拥有全球雇员 30 多万人，业务遍及 160 多个国家和地区。

    17 引用 • 53 回帖 • 143 关注
  • 钉钉

    钉钉，专为中国企业打造的免费沟通协同多端平台， 阿里巴巴出品。

    15 引用 • 67 回帖 • 266 关注
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库，专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 88 关注
  • 深度学习

    深度学习（Deep Learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    43 引用 • 44 回帖
  • Mobi.css

    Mobi.css is a lightweight, flexible CSS framework that focus on mobile.

    1 引用 • 6 回帖 • 766 关注
  • CSDN

    CSDN (Chinese Software Developer Network) 创立于 1999 年，是中国的 IT 社区和服务平台，为中国的软件开发者和 IT 从业者提供知识传播、职业发展、软件开发等全生命周期服务，满足他们在职业发展中学习及共享知识和信息、建立职业发展社交圈、通过软件开发实现技术商业化等刚性需求。

    14 引用 • 155 回帖
  • Quicker

    Quicker 您的指尖工具箱！操作更少，收获更多！

    37 引用 • 157 回帖 • 2 关注
  • 新人

    让我们欢迎这对新人。哦，不好意思说错了，让我们欢迎这位新人！
    新手上路，请谨慎驾驶！

    52 引用 • 228 回帖 • 2 关注
  • Windows

    Microsoft Windows 是美国微软公司研发的一套操作系统，它问世于 1985 年，起初仅仅是 Microsoft-DOS 模拟环境，后续的系统版本由于微软不断的更新升级，不但易用，也慢慢的成为家家户户人们最喜爱的操作系统。

    229 引用 • 476 回帖
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器，在 1999 年被捐献给 ASF（Apache Software Foundation），隶属于 Jakarta 项目，现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范，同时也提供 HTTP 服务，是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖 • 9 关注
  • App

    App（应用程序，Application 的缩写）一般指手机软件。

    91 引用 • 384 回帖 • 2 关注
  • 资讯

    资讯是用户因为及时地获得它并利用它而能够在相对短的时间内给自己带来价值的信息，资讯有时效性和地域性。

    56 引用 • 85 回帖
  • React

    React 是 Facebook 开源的一个用于构建 UI 的 JavaScript 库。

    192 引用 • 291 回帖 • 367 关注
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    315 引用 • 547 回帖
  • Jenkins

    Jenkins 是一套开源的持续集成工具。它提供了非常丰富的插件，让构建、部署、自动化集成项目变得简单易用。

    54 引用 • 37 回帖
  • H2

    H2 是一个开源的嵌入式数据库引擎，采用 Java 语言编写，不受平台的限制，同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式，可以兼容一些主流的数据库，因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 672 关注
  • jQuery

    jQuery 是一套跨浏览器的 JavaScript 库，强化 HTML 与 JavaScript 之间的操作。由 John Resig 在 2006 年 1 月的 BarCamp NYC 上释出第一个版本。全球约有 28% 的网站使用 jQuery，是非常受欢迎的 JavaScript 库。

    63 引用 • 134 回帖 • 733 关注
  • 服务器

    服务器，也称伺服器，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应具备承担服务并且保障服务的能力。

    125 引用 • 585 回帖 • 1 关注
  • Word
    13 引用 • 41 回帖 • 1 关注
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大，比用其他编程程序编辑的程序效率更高，因为它使用了 Linux/Unix 下的命令。

    125 引用 • 74 回帖 • 2 关注
  • 书籍

    宋真宗赵恒曾经说过：“书中自有黄金屋，书中自有颜如玉。”

    84 引用 • 414 回帖
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言，由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码，也可以编译成 JavaScript，方便在没有 JVM 的设备上运行。在 Google I/O 2017 中，Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 87 关注
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量，事件及实时分析。

    2 引用 • 105 关注
  • OpenStack

    OpenStack 是一个云操作系统，通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成，同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 2 关注
  • JSON

    JSON （JavaScript Object Notation）是一种轻量级的数据交换格式。易于人类阅读和编写。同时也易于机器解析和生成。

    53 引用 • 190 回帖

最新标签