登录 注册

CDH5.4.3 离线安装

本贴最后更新于 2766 天前，其中的信息可能已经时移世易

Cloudera Manager 下载地址：

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz ，

CDH 安装包地址：

http://archive.cloudera.com/cdh5/parcels/5.4.3/ ，由于我们的操作系统为 CentOS6.5，需要下载以下文件：

· CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel

· CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1

· manifest.json

准备工作：系统环境搭建

以下操作均用 root 用户操作。

1.网络配置(所有节点)

vi /etc/sysconfig/network 修改 hostname：

NETWORKING=yes

HOSTNAME=hadoop.master

通过 service networkrestart 重启网络服务生效。

vi /etc/hosts ,修改 ip 与主机名的对应关系

192.168.226.17 hadoop.master master

192.168.226.18 hadoop.slave1 slave1

192.168.226.19 hadoop.slave2 slave2

192.168.226.20 hadoop. slave3 slave3

注意： 这里需要将每台机器的 ip 及主机名对应关系都写进去，本机的也要写进去，否则启动 Agent 的时候会提示 hostname 解析错误。

2.打通 SSH，设置 ssh 无密码登陆（所有节点）

在主节点上执行 ssh-keygen -trsa 一路回车，生成无密码的密钥对。

将公钥添加到认证文件中： cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys ，并设置 authorized_keys 的访问权限： chmod 600 ~/.ssh/authorized_keys 。

scp 文件到所有 datenode 节点：

scp /.ssh/authorized_keys root@slave1:/.ssh/

测试： 在主节点上 ssh slave1，正常情况下，不需要密码就能直接登陆进去了。

3.安装 Oracle 的 Java（所有节点）

CentOS，自带 OpenJdk，不过运行 CDH5 需要使用 Oracle 的 Jdk，需要 Java 7 的支持。

卸载自带的 OpenJdk，使用 rpm -qa | grepjava 查询 java 相关的包，使用 rpm -e --nodeps 包名 卸载（凡是 java 开头 都卸载）。

去 Oracle 的官网下载 jdk 的 rpm 安装包，并使用 rpm -ivh 包名 安装之。

由于是 rpm 包并不需要我们来配置环境变量，我们只需要配置一个全局的 JAVA_HOME 变量即可，执行命令：

echo"JAVA_HOME=/usr/java/latest/" >> /etc/profile 注意：latest 是 jdk 目录的软连接，所以你使用它或者直接写 jdk 的目录都可以

4.安装配置 MySql（主节点）

安装 mysql 请看 http://blog.csdn.net/wanghui19931015/article/details/52663862

mysql -uroot -p123456 进入 mysql 命令行，创建以下数据库：

#hive

create database hiveDEFAULT CHARSET utf8COLLATEutf8_general_ci;

#activity monitor

create database amonDEFAULTCHARSET utf8COLLATE utf8_general_ci;

设置 root 授权访问以上所有的数据库：

#授权 root 用户在主节点拥有所有数据库的访问权限

grant all privileges on *.*to'root'@'master' identifiedby '123456'with grant option;

grant all privileges on *.*to 'scm'@'%' identifiedby'scm'with grant option;

flush privileges;

5.关闭防火墙和 SELinux

注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

关闭防火墙：

service iptables stop（临时关闭）

chkconfig iptables off（重启后生效）

关闭 SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:

setenforce 0（临时生效）

修改 /etc/selinux/config 下的 SELINUX=disabled（重启后永久生效）

6.所有节点配置 NTP 服务

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。具体思路如下：

master 节点作为 ntp 服务器与外界对时中心同步时间，随后对所有 datanode 节点提供时间同步服务。

所有 datanode 节点以 master 节点为基础同步时间。

所有节点安装相关组件： yum install ntp 。完成后，配置开机启动： chkconfig ntpdon ,检查是否设置成功： chkconfig --list ntpd 其中 2-5 为 on 状态就代表成功。

主节点配置

在配置之前，先使用 ntpdate 手动同步一下时间，免得本机与对时中心时间差距太大，使得 ntpd 不能正常同步。这里选用 master 作为对时中心, ntpdate -u master 。master 主机添加下面信息到/etc/ntp.conf

server 127.127.1.0

fudge 127.127.1.0 stratum 2

restrict 192.168.226.0 mask 255.255.255.0 nomodify notrap

集群其他节点修改/etc/ntp.conf,如下：

Pleaseconsider joining the pool (http://www.pool.ntp.org/join.html).

#server0.centos.pool.ntp.org iburst

#server1.centos.pool.ntp.orgiburst

#server2.centos.pool.ntp.org iburst

#server3.centos.pool.ntp.org iburst

server master

配置文件完成，保存退出，

设置开机启动 chkconfig ntpd on

启动服务，执行如下命令： service ntpdstart

正式开工

安装 Cloudera Manager Server 和 Agent

主节点解压安装

cloudera manager 的目录默认位置在/opt 下，解压： tar xzvfcloudera-manager*.tar.gz 将解压后的 cm-5.4.3 和 cloudera 目录放到/opt 目录下。

为 Cloudera Manager 5 建立数据库

首先需要去 MySql 的官网下载 JDBC 驱动， http://dev.mysql.com/downloads/connector/j/ ，解压后，找到 mysql-connector-java-5.1.39-bin.jar，放到/opt/cm-5.4.3/share/cmf/lib/中。

同时 chmod 755mysql-connector-java-5.1.39-bin.jar

在主节点初始化 CM5 的数据库：

/opt/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hmaster -uroot -p123456 --scm-host master scm scm scm

Agent 配置

修改/opt/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中的 server_host 为主节点的主机名。

修改/opt/cm-5.4.3/lib64/cmf/agent/src/cmf/util.py 文件。

将其中的代码：

pipe = subprocess.Popen(['/bin/bash','-c', ". %s; %s; env" % (path, command)],

                   stdout=subprocess.PIPE,env=caller_env)

修改为：

pipe = subprocess.Popen(['/bin/bash','-c', ". %s; %s; env | grep -v { | grep -v }" % (path, command)],

         stdout=subprocess.PIPE, env=caller_env)

同步 Agent 到其他节点

scp -r/opt/cm-5.4.3 root@slave1:/opt/

在所有节点创建 cloudera-scm 用户

useradd --system --home=/opt/cm-5.4.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备 Parcels，用以安装 CDH5

将 CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo 需要手动创建）。

相关的文件如下：

· CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel

· CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha1

· manifest.json

最后将 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha1，重命名为 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha，这点必须注意，否则，系统会重新下载 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel 文件。

相关启动脚本

通过 /opt/cm-5.4.3/etc/init.d/cloudera-scm-server start 启动主节点服务端。

通过 /opt/cm-5.4.3/etc/init.d/cloudera-scm-agent start 启动其他节点 Agent 服务。

注意：两个脚本都启动成功，正常运行

需要停止服务将以上的 start 参数改为 stop 就可以了，重启是 restart。

CDH5 的安装配置

Cloudera ManagerServer 和 Agent 都启动以后，就可以进行 CDH5 的安装配置了。

这时可以通过浏览器访问主节点的 7180 端口测试一下了（由于 CM Server 的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为 admin：

1、选择免费版本的 CM5。

2、各个 Agent 节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。

3、接下来，出现以下包名，说明本地 Parcel 包配置无误，直接点继续就可以了。

4、点击，继续。

5、接下来是服务器检查，可能会遇到以下问题：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑/etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

通过 echo 0 >/proc/sys/vm/swappiness 即可解决。

6、接下来是选择安装服务：

服务配置，一般情况下保持默认就可以了（Cloudera Manager 会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）：

接下来是数据库的设置，检查通过后就可以进行下一步的操作了：

7、集群设置的审查页面，保持默认配置的：

终于到安装各个服务的地方了，注意，这里安装 Hive 的时候可能会报错，因为我们使用了 MySql 作为 hive 的元数据存储，hive 默认没有带 mysql 的驱动，通过以下命令拷贝一个就行了：

cp/opt/cm-5.4.3/share/cmf/lib/mysql-connector-java-5.1.39-bin.jar/opt/cloudera/parcels/CDH-5.4.3-1.cdh5.1.3.p0.12/lib/hive/lib/

安装完成后，就可以进入集群界面看一下集群的当前状况了。

测试

在集群的一台机器上执行以下模拟 Pi 的示例程序：

sudo -u hdfs hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi10100

执行过程需要花一定的时间，通过 YARN 的后台也可以看到 MapReduce 的执行状态：

MapReduce 执行过程中终端的输出如下：

Number of Maps =10

Samples per Map =100

Wrote inputfor Map#0

Wrote inputfor Map#1

Wrote inputfor Map#2

Wrote inputfor Map#3

Wrote inputfor Map#4

Wrote inputfor Map#5

Wrote inputfor Map#6

Wrote inputfor Map#7

Wrote inputfor Map#8

Wrote inputfor Map#9

Starting Job

14/10/1301:15:34 INFOclient.RMProxy: Connecting to ResourceManager at n1/192.168.1.161:8032

14/10/1301:15:36 INFOinput.FileInputFormat: Total input paths to process : 10

14/10/1301:15:37 INFOmapreduce.JobSubmitter: number of splits:10

14/10/1301:15:39 INFOmapreduce.JobSubmitter: Submitting tokens for job:job_1413132307582_0001

14/10/1301:15:40 INFOimpl.YarnClientImpl: Submitted application application_1413132307582_0001

14/10/1301:15:40 INFOmapreduce.Job: The url to track the job: http://n1:8088/proxy/application_1413132307582_0001/

14/10/1301:15:40 INFOmapreduce.Job: Running job: job_1413132307582_0001

14/10/1301:17:13 INFOmapreduce.Job: Job job_1413132307582_0001 running in uber mode : false

14/10/1301:17:13 INFOmapreduce.Job: map 0% reduce0%

14/10/1301:18:02 INFOmapreduce.Job: map 10% reduce0%

14/10/1301:18:25 INFOmapreduce.Job: map 20% reduce0%

14/10/1301:18:35 INFOmapreduce.Job: map 30% reduce0%

14/10/1301:18:45 INFOmapreduce.Job: map 40% reduce0%

14/10/1301:18:53 INFOmapreduce.Job: map 50% reduce0%

14/10/1301:19:01 INFOmapreduce.Job: map 60% reduce0%

14/10/1301:19:09 INFOmapreduce.Job: map 70% reduce0%

14/10/1301:19:17 INFOmapreduce.Job: map 80% reduce0%

14/10/1301:19:25 INFOmapreduce.Job: map 90% reduce0%

14/10/1301:19:33 INFOmapreduce.Job: map 100% reduce0%

14/10/1301:19:51 INFOmapreduce.Job: map 100% reduce100%

14/10/1301:19:53 INFOmapreduce.Job: Job job_1413132307582_0001 completed successfully

14/10/1301:19:56 INFOmapreduce.Job: Counters: 49

File System Counters

FILE: Number of bytesread=91

FILE: Number of bytes written=1027765

FILE: Number ofread operations=0

FILE: Number of largeread operations=0

FILE: Number ofwrite operations=0

HDFS: Number of bytesread=2560

HDFS: Number of bytes written=215

HDFS: Number ofread operations=43

HDFS: Number of largeread operations=0

HDFS: Number ofwrite operations=3

Job Counters

Launchedmap tasks=10

Launched reduce tasks=1

Data-local map tasks=10

Totaltime spent by all maps in occupied slots (ms)=118215

Totaltime spent by all reduces in occupied slots (ms)=11894

Totaltime spent by allmap tasks (ms)=118215

Totaltime spent by all reduce tasks (ms)=11894

Total vcore-seconds taken by allmap tasks=118215

Total vcore-seconds taken by all reduce tasks=11894

Total megabyte-seconds taken by allmap tasks=121052160

Total megabyte-seconds taken by all reduce tasks=12179456

Map-Reduce Framework

Map input records=10

Map output records=20

Map output bytes=180

Map output materialized bytes=340

Inputsplit bytes=1380

Combine input records=0

Combine output records=0

Reduce input groups=2

Reduce shuffle bytes=340

Reduce input records=20

Reduce output records=0

Spilled Records=40

Shuffled Maps =10

Failed Shuffles=0

Merged Map outputs=10

GCtime elapsed (ms)=1269

CPUtime spent (ms)=9530

Physical memory (bytes) snapshot=3792773120

Virtual memory (bytes) snapshot=16157274112

Total committed heap usage (bytes)=2856624128

Shuffle Errors

BAD_ID=0

CONNECTION=0

IO_ERROR=0

WRONG_LENGTH=0

WRONG_MAP=0

WRONG_REDUCE=0

File Input Format Counters

Bytes Read=1180

File Output Format Counters

Bytes Written=97

Job Finished in262.659 seconds

Estimated value of Pi is3.14800000000000000000

最后 感谢 http://www.tuicool.com/articles/ENjmeaY/ 博主，因为有这个作为参考，可以让自己尽快的熟悉安装流程。具体要通过 日志 来分析问题。

当然，离线安装后可能会因为一些原因想删除 CDH 重新安装， 这里我会在下一篇文章中会体现。

  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议，并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

    915 引用 • 931 回帖 • 1 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    330 引用 • 614 回帖
北京 位置
1 感谢
664 8 47 110 42 70 2 42 332

相关帖子

回帖
CDH5.4.3 离线安装

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
MrWang
北京
回帖
3
 帖子
1
 积分
492

近期热议

推荐标签 标签

  • Love2D

    Love2D 是一个开源的， 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 512 关注
  • 生活

    生活是指人类生存过程中的各项活动的总和，范畴较广，一般指为幸福的意义而存在。生活实际上是对人生的一种诠释。生活包括人类在社会中与自己息息相关的日常活动和心理影射。

    228 引用 • 1450 回帖
  • BookxNote

    BookxNote 是一款全新的电子书学习工具，助力您的学习与思考，让您的大脑更高效的记忆。

    笔记整理交给我，一心只读圣贤书。

    1 引用 • 1 回帖 • 1 关注
  • App

    App（应用程序，Application 的缩写）一般指手机软件。

    90 引用 • 383 回帖 • 1 关注
  • 百度

    百度（Nasdaq：BIDU）是全球最大的中文搜索引擎、最大的中文网站。2000 年 1 月由李彦宏创立于北京中关村，致力于向人们提供“简单，可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”，象征着百度对中文信息检索技术的执著追求。

    63 引用 • 785 回帖 • 253 关注
  • 房星科技

    房星网，我们不和没有钱的程序员谈理想，我们要让程序员又有理想又有钱。我们有雄厚的房地产行业线下资源，遍布昆明全城的 100 家门店、四千地产经纪人是我们坚实的后盾。

    6 引用 • 141 回帖 • 559 关注
  • 单点登录

    单点登录（Single Sign On）是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。

    9 引用 • 25 回帖 • 2 关注
  • 分享

    有什么新发现就分享给大家吧！

    242 引用 • 1747 回帖 • 1 关注
  • Gitea

    Gitea 是一个开源社区驱动的轻量级代码托管解决方案，后端采用 Go 编写，采用 MIT 许可证。

    4 引用 • 16 回帖 • 2 关注
  • AngularJS

    AngularJS 诞生于 2009 年，由 Misko Hevery 等人创建，后为 Google 所收购。是一款优秀的前端 JS 框架，已经被用于 Google 的多款产品当中。AngularJS 有着诸多特性，最为核心的是：MVC、模块化、自动化双向数据绑定、语义化标签、依赖注入等。2.0 版本后已经改名为 Angular。

    12 引用 • 50 回帖 • 424 关注
  • Google

    Google（Google Inc.，NASDAQ：GOOG）是一家美国上市公司（公有股份公司），于 1998 年 9 月 7 日以私有股份公司的形式创立，设计并管理一个互联网搜索引擎。Google 公司的总部称作“Googleplex”，它位于加利福尼亚山景城。Google 目前被公认为是全球规模最大的搜索引擎，它提供了简单易用的免费服务。不作恶（Don't be evil）是谷歌公司的一项非正式的公司口号。

    49 引用 • 192 回帖
  • 尊园地产

    昆明尊园房地产经纪有限公司，即：Kunming Zunyuan Property Agency Company Limited（简称“尊园地产”）于 2007 年 6 月开始筹备，2007 年 8 月 18 日正式成立，注册资本 200 万元，公司性质为股份经纪有限公司，主营业务为：代租、代售、代办产权过户、办理银行按揭、担保、抵押、评估等。

    1 引用 • 22 回帖 • 685 关注
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言，内置支持类型。它的解释器被称为 JavaScript 引擎，为浏览器的一部分，广泛用于客户端的脚本语言，最早是在 HTML 网页上使用，用来给 HTML 网页增加动态功能。

    710 引用 • 1173 回帖 • 173 关注
  • Chrome

    Chrome 又称 Google 浏览器，是一个由谷歌公司开发的网页浏览器。该浏览器是基于其他开源软件所编写，包括 WebKit，目标是提升稳定性、速度和安全性，并创造出简单且有效率的使用者界面。

    60 引用 • 287 回帖
  • 微软

    微软是一家美国跨国科技公司，也是世界 PC 软件开发的先导，由比尔·盖茨与保罗·艾伦创办于 1975 年，公司总部设立在华盛顿州的雷德蒙德（Redmond，邻近西雅图）。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖
  • B3log

    B3log 是一个开源组织，名字来源于“Bulletin Board Blog”缩写，目标是将独立博客与论坛结合，形成一种新的网络社区体验，详细请看 B3log 构思。目前 B3log 已经开源了多款产品：Sym、Solo、Vditor 和 思源笔记。

    1083 引用 • 3461 回帖 • 285 关注
  • ReactiveX

    ReactiveX 是一个专注于异步编程与控制可观察数据（或者事件）流的 API。它组合了观察者模式，迭代器模式和函数式编程的优秀思想。

    1 引用 • 2 回帖 • 126 关注
  • JRebel

    JRebel 是一款 Java 虚拟机插件，它使得 Java 程序员能在不进行重部署的情况下，即时看到代码的改变对一个应用程序带来的影响。

    26 引用 • 78 回帖 • 623 关注
  • 书籍

    宋真宗赵恒曾经说过：“书中自有黄金屋，书中自有颜如玉。”

    76 引用 • 390 回帖
  • Gzip

    gzip （GNU zip）是 GNU 自由软件的文件压缩程序。我们在 Linux 中经常会用到后缀为 .gz 的文件，它们就是 Gzip 格式的。现今已经成为互联网上使用非常普遍的一种数据压缩格式，或者说一种文件格式。

    9 引用 • 12 回帖 • 111 关注
  • RabbitMQ

    RabbitMQ 是一个开源的 AMQP 实现，服务器端用 Erlang 语言编写，支持多种语言客户端，如：Python、Ruby、.NET、Java、C、PHP、ActionScript 等。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。

    49 引用 • 60 回帖 • 395 关注
  • 国际化

    i18n（其来源是英文单词 internationalization 的首末字符 i 和 n，18 为中间的字符数）是“国际化”的简称。对程序来说，国际化是指在不修改代码的情况下，能根据不同语言及地区显示相应的界面。

    7 引用 • 26 回帖
  • iOS

    iOS 是由苹果公司开发的移动操作系统，最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统，最初是设计给 iPhone 使用的，后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样，属于类 Unix 的商业操作系统。

    84 引用 • 139 回帖
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发，并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例： https://wide.b3log.org

    30 引用 • 218 回帖 • 605 关注
  • 旅游

    希望你我能在旅途中找到人生的下一站。

    85 引用 • 895 回帖
  • 负能量

    上帝为你关上了一扇门，然后就去睡觉了....努力不一定能成功，但不努力一定很轻松 (° ー °〃)

    85 引用 • 1201 回帖 • 450 关注
  • CSS

    CSS（Cascading Style Sheet）“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    180 引用 • 447 回帖

最新标签