登录 注册

CDH5.4.3 离线安装

本贴最后更新于 2855 天前，其中的信息可能已经时移世易

Cloudera Manager 下载地址：

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz ，

CDH 安装包地址：

http://archive.cloudera.com/cdh5/parcels/5.4.3/ ，由于我们的操作系统为 CentOS6.5，需要下载以下文件：

· CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel

· CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1

· manifest.json

准备工作：系统环境搭建

以下操作均用 root 用户操作。

1.网络配置(所有节点)

vi /etc/sysconfig/network 修改 hostname：

NETWORKING=yes

HOSTNAME=hadoop.master

通过 service networkrestart 重启网络服务生效。

vi /etc/hosts ,修改 ip 与主机名的对应关系

192.168.226.17 hadoop.master master

192.168.226.18 hadoop.slave1 slave1

192.168.226.19 hadoop.slave2 slave2

192.168.226.20 hadoop. slave3 slave3

注意： 这里需要将每台机器的 ip 及主机名对应关系都写进去，本机的也要写进去，否则启动 Agent 的时候会提示 hostname 解析错误。

2.打通 SSH，设置 ssh 无密码登陆（所有节点）

在主节点上执行 ssh-keygen -trsa 一路回车，生成无密码的密钥对。

将公钥添加到认证文件中： cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys ，并设置 authorized_keys 的访问权限： chmod 600 ~/.ssh/authorized_keys 。

scp 文件到所有 datenode 节点：

scp /.ssh/authorized_keys root@slave1:/.ssh/

测试： 在主节点上 ssh slave1，正常情况下，不需要密码就能直接登陆进去了。

3.安装 Oracle 的 Java（所有节点）

CentOS，自带 OpenJdk，不过运行 CDH5 需要使用 Oracle 的 Jdk，需要 Java 7 的支持。

卸载自带的 OpenJdk，使用 rpm -qa | grepjava 查询 java 相关的包，使用 rpm -e --nodeps 包名 卸载（凡是 java 开头 都卸载）。

去 Oracle 的官网下载 jdk 的 rpm 安装包，并使用 rpm -ivh 包名 安装之。

由于是 rpm 包并不需要我们来配置环境变量，我们只需要配置一个全局的 JAVA_HOME 变量即可，执行命令：

echo"JAVA_HOME=/usr/java/latest/" >> /etc/profile 注意：latest 是 jdk 目录的软连接，所以你使用它或者直接写 jdk 的目录都可以

4.安装配置 MySql（主节点）

安装 mysql 请看 http://blog.csdn.net/wanghui19931015/article/details/52663862

mysql -uroot -p123456 进入 mysql 命令行，创建以下数据库：

#hive

create database hiveDEFAULT CHARSET utf8COLLATEutf8_general_ci;

#activity monitor

create database amonDEFAULTCHARSET utf8COLLATE utf8_general_ci;

设置 root 授权访问以上所有的数据库：

#授权 root 用户在主节点拥有所有数据库的访问权限

grant all privileges on *.*to'root'@'master' identifiedby '123456'with grant option;

grant all privileges on *.*to 'scm'@'%' identifiedby'scm'with grant option;

flush privileges;

5.关闭防火墙和 SELinux

注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

关闭防火墙：

service iptables stop（临时关闭）

chkconfig iptables off（重启后生效）

关闭 SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:

setenforce 0（临时生效）

修改 /etc/selinux/config 下的 SELINUX=disabled（重启后永久生效）

6.所有节点配置 NTP 服务

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。具体思路如下：

master 节点作为 ntp 服务器与外界对时中心同步时间，随后对所有 datanode 节点提供时间同步服务。

所有 datanode 节点以 master 节点为基础同步时间。

所有节点安装相关组件： yum install ntp 。完成后，配置开机启动： chkconfig ntpdon ,检查是否设置成功： chkconfig --list ntpd 其中 2-5 为 on 状态就代表成功。

主节点配置

在配置之前，先使用 ntpdate 手动同步一下时间，免得本机与对时中心时间差距太大，使得 ntpd 不能正常同步。这里选用 master 作为对时中心, ntpdate -u master 。master 主机添加下面信息到/etc/ntp.conf

server 127.127.1.0

fudge 127.127.1.0 stratum 2

restrict 192.168.226.0 mask 255.255.255.0 nomodify notrap

集群其他节点修改/etc/ntp.conf,如下：

Pleaseconsider joining the pool (http://www.pool.ntp.org/join.html).

#server0.centos.pool.ntp.org iburst

#server1.centos.pool.ntp.orgiburst

#server2.centos.pool.ntp.org iburst

#server3.centos.pool.ntp.org iburst

server master

配置文件完成，保存退出，

设置开机启动 chkconfig ntpd on

启动服务，执行如下命令： service ntpdstart

正式开工

安装 Cloudera Manager Server 和 Agent

主节点解压安装

cloudera manager 的目录默认位置在/opt 下，解压： tar xzvfcloudera-manager*.tar.gz 将解压后的 cm-5.4.3 和 cloudera 目录放到/opt 目录下。

为 Cloudera Manager 5 建立数据库

首先需要去 MySql 的官网下载 JDBC 驱动， http://dev.mysql.com/downloads/connector/j/ ，解压后，找到 mysql-connector-java-5.1.39-bin.jar，放到/opt/cm-5.4.3/share/cmf/lib/中。

同时 chmod 755mysql-connector-java-5.1.39-bin.jar

在主节点初始化 CM5 的数据库：

/opt/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hmaster -uroot -p123456 --scm-host master scm scm scm

Agent 配置

修改/opt/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中的 server_host 为主节点的主机名。

修改/opt/cm-5.4.3/lib64/cmf/agent/src/cmf/util.py 文件。

将其中的代码：

pipe = subprocess.Popen(['/bin/bash','-c', ". %s; %s; env" % (path, command)],

                   stdout=subprocess.PIPE,env=caller_env)

修改为：

pipe = subprocess.Popen(['/bin/bash','-c', ". %s; %s; env | grep -v { | grep -v }" % (path, command)],

         stdout=subprocess.PIPE, env=caller_env)

同步 Agent 到其他节点

scp -r/opt/cm-5.4.3 root@slave1:/opt/

在所有节点创建 cloudera-scm 用户

useradd --system --home=/opt/cm-5.4.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备 Parcels，用以安装 CDH5

将 CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo 需要手动创建）。

相关的文件如下：

· CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel

· CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha1

· manifest.json

最后将 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha1，重命名为 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha，这点必须注意，否则，系统会重新下载 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel 文件。

相关启动脚本

通过 /opt/cm-5.4.3/etc/init.d/cloudera-scm-server start 启动主节点服务端。

通过 /opt/cm-5.4.3/etc/init.d/cloudera-scm-agent start 启动其他节点 Agent 服务。

注意：两个脚本都启动成功，正常运行

需要停止服务将以上的 start 参数改为 stop 就可以了，重启是 restart。

CDH5 的安装配置

Cloudera ManagerServer 和 Agent 都启动以后，就可以进行 CDH5 的安装配置了。

这时可以通过浏览器访问主节点的 7180 端口测试一下了（由于 CM Server 的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为 admin：

1、选择免费版本的 CM5。

2、各个 Agent 节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。

3、接下来，出现以下包名，说明本地 Parcel 包配置无误，直接点继续就可以了。

4、点击，继续。

5、接下来是服务器检查，可能会遇到以下问题：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑/etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

通过 echo 0 >/proc/sys/vm/swappiness 即可解决。

6、接下来是选择安装服务：

服务配置，一般情况下保持默认就可以了（Cloudera Manager 会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）：

接下来是数据库的设置，检查通过后就可以进行下一步的操作了：

7、集群设置的审查页面，保持默认配置的：

终于到安装各个服务的地方了，注意，这里安装 Hive 的时候可能会报错，因为我们使用了 MySql 作为 hive 的元数据存储，hive 默认没有带 mysql 的驱动，通过以下命令拷贝一个就行了：

cp/opt/cm-5.4.3/share/cmf/lib/mysql-connector-java-5.1.39-bin.jar/opt/cloudera/parcels/CDH-5.4.3-1.cdh5.1.3.p0.12/lib/hive/lib/

安装完成后，就可以进入集群界面看一下集群的当前状况了。

测试

在集群的一台机器上执行以下模拟 Pi 的示例程序：

sudo -u hdfs hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi10100

执行过程需要花一定的时间，通过 YARN 的后台也可以看到 MapReduce 的执行状态：

MapReduce 执行过程中终端的输出如下：

Number of Maps =10

Samples per Map =100

Wrote inputfor Map#0

Wrote inputfor Map#1

Wrote inputfor Map#2

Wrote inputfor Map#3

Wrote inputfor Map#4

Wrote inputfor Map#5

Wrote inputfor Map#6

Wrote inputfor Map#7

Wrote inputfor Map#8

Wrote inputfor Map#9

Starting Job

14/10/1301:15:34 INFOclient.RMProxy: Connecting to ResourceManager at n1/192.168.1.161:8032

14/10/1301:15:36 INFOinput.FileInputFormat: Total input paths to process : 10

14/10/1301:15:37 INFOmapreduce.JobSubmitter: number of splits:10

14/10/1301:15:39 INFOmapreduce.JobSubmitter: Submitting tokens for job:job_1413132307582_0001

14/10/1301:15:40 INFOimpl.YarnClientImpl: Submitted application application_1413132307582_0001

14/10/1301:15:40 INFOmapreduce.Job: The url to track the job: http://n1:8088/proxy/application_1413132307582_0001/

14/10/1301:15:40 INFOmapreduce.Job: Running job: job_1413132307582_0001

14/10/1301:17:13 INFOmapreduce.Job: Job job_1413132307582_0001 running in uber mode : false

14/10/1301:17:13 INFOmapreduce.Job: map 0% reduce0%

14/10/1301:18:02 INFOmapreduce.Job: map 10% reduce0%

14/10/1301:18:25 INFOmapreduce.Job: map 20% reduce0%

14/10/1301:18:35 INFOmapreduce.Job: map 30% reduce0%

14/10/1301:18:45 INFOmapreduce.Job: map 40% reduce0%

14/10/1301:18:53 INFOmapreduce.Job: map 50% reduce0%

14/10/1301:19:01 INFOmapreduce.Job: map 60% reduce0%

14/10/1301:19:09 INFOmapreduce.Job: map 70% reduce0%

14/10/1301:19:17 INFOmapreduce.Job: map 80% reduce0%

14/10/1301:19:25 INFOmapreduce.Job: map 90% reduce0%

14/10/1301:19:33 INFOmapreduce.Job: map 100% reduce0%

14/10/1301:19:51 INFOmapreduce.Job: map 100% reduce100%

14/10/1301:19:53 INFOmapreduce.Job: Job job_1413132307582_0001 completed successfully

14/10/1301:19:56 INFOmapreduce.Job: Counters: 49

File System Counters

FILE: Number of bytesread=91

FILE: Number of bytes written=1027765

FILE: Number ofread operations=0

FILE: Number of largeread operations=0

FILE: Number ofwrite operations=0

HDFS: Number of bytesread=2560

HDFS: Number of bytes written=215

HDFS: Number ofread operations=43

HDFS: Number of largeread operations=0

HDFS: Number ofwrite operations=3

Job Counters

Launchedmap tasks=10

Launched reduce tasks=1

Data-local map tasks=10

Totaltime spent by all maps in occupied slots (ms)=118215

Totaltime spent by all reduces in occupied slots (ms)=11894

Totaltime spent by allmap tasks (ms)=118215

Totaltime spent by all reduce tasks (ms)=11894

Total vcore-seconds taken by allmap tasks=118215

Total vcore-seconds taken by all reduce tasks=11894

Total megabyte-seconds taken by allmap tasks=121052160

Total megabyte-seconds taken by all reduce tasks=12179456

Map-Reduce Framework

Map input records=10

Map output records=20

Map output bytes=180

Map output materialized bytes=340

Inputsplit bytes=1380

Combine input records=0

Combine output records=0

Reduce input groups=2

Reduce shuffle bytes=340

Reduce input records=20

Reduce output records=0

Spilled Records=40

Shuffled Maps =10

Failed Shuffles=0

Merged Map outputs=10

GCtime elapsed (ms)=1269

CPUtime spent (ms)=9530

Physical memory (bytes) snapshot=3792773120

Virtual memory (bytes) snapshot=16157274112

Total committed heap usage (bytes)=2856624128

Shuffle Errors

BAD_ID=0

CONNECTION=0

IO_ERROR=0

WRONG_LENGTH=0

WRONG_MAP=0

WRONG_REDUCE=0

File Input Format Counters

Bytes Read=1180

File Output Format Counters

Bytes Written=97

Job Finished in262.659 seconds

Estimated value of Pi is3.14800000000000000000

最后 感谢 http://www.tuicool.com/articles/ENjmeaY/ 博主，因为有这个作为参考，可以让自己尽快的熟悉安装流程。具体要通过 日志 来分析问题。

当然，离线安装后可能会因为一些原因想删除 CDH 重新安装， 这里我会在下一篇文章中会体现。

  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议，并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

    923 引用 • 936 回帖
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    333 引用 • 619 回帖
北京 位置
1 感谢
666 8 47 112 42 70 2 42 332

相关帖子

回帖
CDH5.4.3 离线安装

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
MrWang
北京
回帖
3
 帖子
1
 积分
492

近期热议

推荐标签 标签

  • 锤子科技

    锤子科技（Smartisan）成立于 2012 年 5 月，是一家制造移动互联网终端设备的公司，公司的使命是用完美主义的工匠精神，打造用户体验一流的数码消费类产品（智能手机为主），改善人们的生活质量。

    4 引用 • 31 回帖 • 7 关注
  • 周末

    星期六到星期天晚，实行五天工作制后，指每周的最后两天。再过几年可能就是三天了。

    14 引用 • 297 回帖
  • 京东

    京东是中国最大的自营式电商企业，2015 年第一季度在中国自营式 B2C 电商市场的占有率为 56.3%。2014 年 5 月，京东在美国纳斯达克证券交易所正式挂牌上市（股票代码：JD），是中国第一个成功赴美上市的大型综合型电商平台，与腾讯、百度等中国互联网巨头共同跻身全球前十大互联网公司排行榜。

    14 引用 • 102 回帖 • 401 关注
  • jsoup

    jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

    6 引用 • 1 回帖 • 473 关注
  • frp

    frp 是一个可用于内网穿透的高性能的反向代理应用，支持 TCP、UDP、 HTTP 和 HTTPS 协议。

    16 引用 • 7 回帖 • 2 关注
  • 旅游

    希望你我能在旅途中找到人生的下一站。

    86 引用 • 897 回帖 • 1 关注
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”，在线用户由 1999 年的 2 人（马化腾和张志东）到现在已经发展到上亿用户了，在线人数超过一亿，是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖 • 160 关注
  • 996

    “工作 996， 生病 ICU”

    13 引用 • 200 回帖 • 5 关注
  • Gzip

    gzip （GNU zip）是 GNU 自由软件的文件压缩程序。我们在 Linux 中经常会用到后缀为 .gz 的文件，它们就是 Gzip 格式的。现今已经成为互联网上使用非常普遍的一种数据压缩格式，或者说一种文件格式。

    9 引用 • 12 回帖 • 125 关注
  • Sphinx

    Sphinx 是一个基于 SQL 的全文检索引擎，可以结合 MySQL、PostgreSQL 做全文搜索，它可以提供比数据库本身更专业的搜索功能，使得应用程序更容易实现专业化的全文检索。

    1 引用 • 194 关注
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统，主要使用于便携设备。2005 年由 Google 收购注资，并拉拢多家制造商组成开放手机联盟开发改良，逐渐扩展到到平板电脑及其他领域上。

    334 引用 • 323 回帖 • 19 关注
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    35 引用 • 200 回帖 • 30 关注
  • iOS

    iOS 是由苹果公司开发的移动操作系统，最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统，最初是设计给 iPhone 使用的，后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样，属于类 Unix 的商业操作系统。

    84 引用 • 139 回帖 • 1 关注
  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

    85 引用 • 122 回帖 • 617 关注
  • 微服务

    微服务架构是一种架构模式，它提倡将单一应用划分成一组小的服务。服务之间互相协调，互相配合，为用户提供最终价值。每个服务运行在独立的进程中。服务于服务之间才用轻量级的通信机制互相沟通。每个服务都围绕着具体业务构建，能够被独立的部署。

    96 引用 • 155 回帖 • 1 关注
  • 设计模式

    设计模式（Design pattern）代表了最佳的实践，通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。

    198 引用 • 120 回帖
  • etcd

    etcd 是一个分布式、高可用的 key-value 数据存储，专门用于在分布式系统中保存关键数据。

    5 引用 • 26 回帖 • 499 关注
  • IDEA

    IDEA 全称 IntelliJ IDEA，是一款 Java 语言开发的集成环境，在业界被公认为最好的 Java 开发工具之一。IDEA 是 JetBrains 公司的产品，这家公司总部位于捷克共和国的首都布拉格，开发人员以严谨著称的东欧程序员为主。

    180 引用 • 400 回帖 • 1 关注
  • CSS

    CSS（Cascading Style Sheet）“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    186 引用 • 471 回帖 • 3 关注
  • Sillot

    Insights（注意当前设置 master 为默认分支）

    汐洛彖夲肜矩阵（Sillot T☳Converbenk Matrix），致力于服务智慧新彖乄，具有彖乄驱动、极致优雅、开发者友好的特点。其中汐洛绞架（Sillot-Gibbet）基于自思源笔记（siyuan-note），前身是思源笔记汐洛版（更早是思源笔记汐洛分支），是智慧新录乄终端（多端融合，移动端优先）。

    主仓库地址：Hi-Windom/Sillot

    文档地址：sillot.db.sc.cn

    注意事项：

    1. ⚠️ 汐洛仍在早期开发阶段，尚不稳定
    2. ⚠️ 汐洛并非面向普通用户设计，使用前请了解风险
    3. ⚠️ 汐洛绞架基于思源笔记，开发者尽最大努力与思源笔记保持兼容，但无法实现 100% 兼容
    29 引用 • 25 回帖 • 52 关注
  • Facebook

    Facebook 是一个联系朋友的社交工具。大家可以通过它和朋友、同事、同学以及周围的人保持互动交流，分享无限上传的图片，发布链接和视频，更可以增进对朋友的了解。

    4 引用 • 15 回帖 • 458 关注
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态；标准是由主流手机厂商组成的快应用联盟联合制定；快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台；以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖 • 1 关注
  • Chrome

    Chrome 又称 Google 浏览器，是一个由谷歌公司开发的网页浏览器。该浏览器是基于其他开源软件所编写，包括 WebKit，目标是提升稳定性、速度和安全性，并创造出简单且有效率的使用者界面。

    62 引用 • 289 回帖
  • Lute

    Lute 是一款结构化的 Markdown 引擎，支持 Go 和 JavaScript。

    25 引用 • 191 回帖 • 20 关注
  • Vim

    Vim 是类 UNIX 系统文本编辑器 Vi 的加强版本，加入了更多特性来帮助编辑源代码。Vim 的部分增强功能包括文件比较（vimdiff）、语法高亮、全面的帮助系统、本地脚本（Vimscript）和便于选择的可视化模式。

    28 引用 • 66 回帖 • 7 关注
  • 又拍云

    又拍云是国内领先的 CDN 服务提供商,国家工信部认证通过的“可信云”，乌云众测平台认证的“安全云”，为移动时代的创业者提供新一代的 CDN 加速服务。

    21 引用 • 37 回帖 • 523 关注
  • Maven

    Maven 是基于项目对象模型（POM）、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    186 引用 • 318 回帖 • 329 关注

最新标签