CDH5.4.3 离线安装

本贴最后更新于 3249 天前,其中的信息可能已经时移世易

Cloudera Manager 下载地址:

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

CDH 安装包地址:

http://archive.cloudera.com/cdh5/parcels/5.4.3/ ,由于我们的操作系统为 CentOS6.5,需要下载以下文件:

· CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel

· CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1

· manifest.json

准备工作:系统环境搭建

以下操作均用 root 用户操作。

1.网络配置(所有节点)

vi /etc/sysconfig/network 修改 hostname:

NETWORKING=yes

HOSTNAME=hadoop.master

通过 service networkrestart 重启网络服务生效。

vi /etc/hosts ,修改 ip 与主机名的对应关系

192.168.226.17 hadoop.master master

192.168.226.18 hadoop.slave1 slave1

192.168.226.19 hadoop.slave2 slave2

192.168.226.20 hadoop. slave3 slave3

注意: 这里需要将每台机器的 ip 及主机名对应关系都写进去,本机的也要写进去,否则启动 Agent 的时候会提示 hostname 解析错误。

2.打通 SSH,设置 ssh 无密码登陆(所有节点)

在主节点上执行 ssh-keygen -trsa 一路回车,生成无密码的密钥对。

将公钥添加到认证文件中: cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys ,并设置 authorized_keys 的访问权限: chmod 600 ~/.ssh/authorized_keys 。

scp 文件到所有 datenode 节点:

scp /.ssh/authorized_keys root@slave1:/.ssh/

测试: 在主节点上 ssh slave1,正常情况下,不需要密码就能直接登陆进去了。

3.安装 Oracle 的 Java(所有节点)

CentOS,自带 OpenJdk,不过运行 CDH5 需要使用 Oracle 的 Jdk,需要 Java 7 的支持。

卸载自带的 OpenJdk,使用 rpm -qa | grepjava 查询 java 相关的包,使用 rpm -e --nodeps 包名 卸载(凡是 java 开头 都卸载)。

去 Oracle 的官网下载 jdk 的 rpm 安装包,并使用 rpm -ivh 包名 安装之。

由于是 rpm 包并不需要我们来配置环境变量,我们只需要配置一个全局的 JAVA_HOME 变量即可,执行命令:

echo"JAVA_HOME=/usr/java/latest/" >> /etc/profile 注意:latest 是 jdk 目录的软连接,所以你使用它或者直接写 jdk 的目录都可以

4.安装配置 MySql(主节点)

安装 mysql 请看 http://blog.csdn.net/wanghui19931015/article/details/52663862

mysql -uroot -p123456 进入 mysql 命令行,创建以下数据库:

#hive

create database hiveDEFAULT CHARSET utf8COLLATEutf8_general_ci;

#activity monitor

create database amonDEFAULTCHARSET utf8COLLATE utf8_general_ci;

设置 root 授权访问以上所有的数据库:

#授权 root 用户在主节点拥有所有数据库的访问权限

grant all privileges on *.*to'root'@'master' identifiedby '123456'with grant option;

grant all privileges on *.*to 'scm'@'%' identifiedby'scm'with grant option;

flush privileges;

5.关闭防火墙和 SELinux

注意: 需要在所有的节点上执行,因为涉及到的端口太多了,临时关闭防火墙是为了安装起来更方便,安装完毕后可以根据需要设置防火墙策略,保证集群安全。

关闭防火墙:

service iptables stop(临时关闭)

chkconfig iptables off(重启后生效)

关闭 SELINUX(实际安装过程中发现没有关闭也是可以的,不知道会不会有问题,还需进一步进行验证):

setenforce 0(临时生效)

修改 /etc/selinux/config 下的 SELINUX=disabled(重启后永久生效)

6.所有节点配置 NTP 服务

集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。具体思路如下:

master 节点作为 ntp 服务器与外界对时中心同步时间,随后对所有 datanode 节点提供时间同步服务。

所有 datanode 节点以 master 节点为基础同步时间。

所有节点安装相关组件: yum install ntp 。完成后,配置开机启动: chkconfig ntpdon ,检查是否设置成功: chkconfig --list ntpd 其中 2-5 为 on 状态就代表成功。

主节点配置

在配置之前,先使用 ntpdate 手动同步一下时间,免得本机与对时中心时间差距太大,使得 ntpd 不能正常同步。这里选用 master 作为对时中心, ntpdate -u master 。master 主机添加下面信息到/etc/ntp.conf

server 127.127.1.0

fudge 127.127.1.0 stratum 2

restrict 192.168.226.0 mask 255.255.255.0 nomodify notrap

集群其他节点修改/etc/ntp.conf,如下:

Pleaseconsider joining the pool (http://www.pool.ntp.org/join.html).

#server0.centos.pool.ntp.org iburst

#server1.centos.pool.ntp.orgiburst

#server2.centos.pool.ntp.org iburst

#server3.centos.pool.ntp.org iburst

server master

配置文件完成,保存退出,

设置开机启动 chkconfig ntpd on

启动服务,执行如下命令: service ntpdstart

正式开工

安装 Cloudera Manager Server 和 Agent

主节点解压安装

cloudera manager 的目录默认位置在/opt 下,解压: tar xzvfcloudera-manager*.tar.gz 将解压后的 cm-5.4.3 和 cloudera 目录放到/opt 目录下。

为 Cloudera Manager 5 建立数据库

首先需要去 MySql 的官网下载 JDBC 驱动, http://dev.mysql.com/downloads/connector/j/ ,解压后,找到 mysql-connector-java-5.1.39-bin.jar,放到/opt/cm-5.4.3/share/cmf/lib/中。

同时 chmod 755mysql-connector-java-5.1.39-bin.jar

在主节点初始化 CM5 的数据库:

/opt/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hmaster -uroot -p123456 --scm-host master scm scm scm

Agent 配置

修改/opt/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中的 server_host 为主节点的主机名。

修改/opt/cm-5.4.3/lib64/cmf/agent/src/cmf/util.py 文件。

将其中的代码:

pipe = subprocess.Popen(['/bin/bash','-c', ". %s; %s; env" % (path, command)],

stdout=subprocess.PIPE,env=caller_env)

修改为:

pipe = subprocess.Popen(['/bin/bash','-c', ". %s; %s; env | grep -v { | grep -v }" % (path, command)],

stdout=subprocess.PIPE, env=caller_env)

同步 Agent 到其他节点

scp -r/opt/cm-5.4.3 root@slave1:/opt/

在所有节点创建 cloudera-scm 用户

useradd --system --home=/opt/cm-5.4.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备 Parcels,用以安装 CDH5

将 CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中(parcel-repo 需要手动创建)。

相关的文件如下:

· CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel

· CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha1

· manifest.json

最后将 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha1,重命名为 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel.sha,这点必须注意,否则,系统会重新下载 CDH-5.4.3-1.cdh5.4.3.p0.12-el6.parcel 文件。

相关启动脚本

通过 /opt/cm-5.4.3/etc/init.d/cloudera-scm-server start 启动主节点服务端。

通过 /opt/cm-5.4.3/etc/init.d/cloudera-scm-agent start 启动其他节点 Agent 服务。

注意:两个脚本都启动成功,正常运行

需要停止服务将以上的 start 参数改为 stop 就可以了,重启是 restart。

CDH5 的安装配置

Cloudera ManagerServer 和 Agent 都启动以后,就可以进行 CDH5 的安装配置了。

这时可以通过浏览器访问主节点的 7180 端口测试一下了(由于 CM Server 的启动需要花点时间,这里可能要等待一会才能访问),默认的用户名和密码均为 admin:

1、选择免费版本的 CM5。

2、各个 Agent 节点正常启动后,可以在当前管理的主机列表中看到对应的节点。选择要安装的节点,点继续。

3、接下来,出现以下包名,说明本地 Parcel 包配置无误,直接点继续就可以了。

4、点击,继续。

5、接下来是服务器检查,可能会遇到以下问题:

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑/etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:

通过 echo 0 >/proc/sys/vm/swappiness 即可解决。

6、接下来是选择安装服务:

服务配置,一般情况下保持默认就可以了(Cloudera Manager 会根据机器的配置自动进行配置,如果需要特殊调整,自行进行设置就可以了):

接下来是数据库的设置,检查通过后就可以进行下一步的操作了:

7、集群设置的审查页面,保持默认配置的:

终于到安装各个服务的地方了,注意,这里安装 Hive 的时候可能会报错,因为我们使用了 MySql 作为 hive 的元数据存储,hive 默认没有带 mysql 的驱动,通过以下命令拷贝一个就行了:

cp/opt/cm-5.4.3/share/cmf/lib/mysql-connector-java-5.1.39-bin.jar/opt/cloudera/parcels/CDH-5.4.3-1.cdh5.1.3.p0.12/lib/hive/lib/

安装完成后,就可以进入集群界面看一下集群的当前状况了。

测试

在集群的一台机器上执行以下模拟 Pi 的示例程序:

sudo -u hdfs hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi10100

执行过程需要花一定的时间,通过 YARN 的后台也可以看到 MapReduce 的执行状态:

MapReduce 执行过程中终端的输出如下:

Number of Maps =10

Samples per Map =100

Wrote inputfor Map#0

Wrote inputfor Map#1

Wrote inputfor Map#2

Wrote inputfor Map#3

Wrote inputfor Map#4

Wrote inputfor Map#5

Wrote inputfor Map#6

Wrote inputfor Map#7

Wrote inputfor Map#8

Wrote inputfor Map#9

Starting Job

14/10/1301:15:34 INFOclient.RMProxy: Connecting to ResourceManager at n1/192.168.1.161:8032

14/10/1301:15:36 INFOinput.FileInputFormat: Total input paths to process : 10

14/10/1301:15:37 INFOmapreduce.JobSubmitter: number of splits:10

14/10/1301:15:39 INFOmapreduce.JobSubmitter: Submitting tokens for job:job_1413132307582_0001

14/10/1301:15:40 INFOimpl.YarnClientImpl: Submitted application application_1413132307582_0001

14/10/1301:15:40 INFOmapreduce.Job: The url to track the job: http://n1:8088/proxy/application_1413132307582_0001/

14/10/1301:15:40 INFOmapreduce.Job: Running job: job_1413132307582_0001

14/10/1301:17:13 INFOmapreduce.Job: Job job_1413132307582_0001 running in uber mode : false

14/10/1301:17:13 INFOmapreduce.Job: map 0% reduce0%

14/10/1301:18:02 INFOmapreduce.Job: map 10% reduce0%

14/10/1301:18:25 INFOmapreduce.Job: map 20% reduce0%

14/10/1301:18:35 INFOmapreduce.Job: map 30% reduce0%

14/10/1301:18:45 INFOmapreduce.Job: map 40% reduce0%

14/10/1301:18:53 INFOmapreduce.Job: map 50% reduce0%

14/10/1301:19:01 INFOmapreduce.Job: map 60% reduce0%

14/10/1301:19:09 INFOmapreduce.Job: map 70% reduce0%

14/10/1301:19:17 INFOmapreduce.Job: map 80% reduce0%

14/10/1301:19:25 INFOmapreduce.Job: map 90% reduce0%

14/10/1301:19:33 INFOmapreduce.Job: map 100% reduce0%

14/10/1301:19:51 INFOmapreduce.Job: map 100% reduce100%

14/10/1301:19:53 INFOmapreduce.Job: Job job_1413132307582_0001 completed successfully

14/10/1301:19:56 INFOmapreduce.Job: Counters: 49

File System Counters

FILE: Number of bytesread=91

FILE: Number of bytes written=1027765

FILE: Number ofread operations=0

FILE: Number of largeread operations=0

FILE: Number ofwrite operations=0

HDFS: Number of bytesread=2560

HDFS: Number of bytes written=215

HDFS: Number ofread operations=43

HDFS: Number of largeread operations=0

HDFS: Number ofwrite operations=3

Job Counters

Launchedmap tasks=10

Launched reduce tasks=1

Data-local map tasks=10

Totaltime spent by all maps in occupied slots (ms)=118215

Totaltime spent by all reduces in occupied slots (ms)=11894

Totaltime spent by allmap tasks (ms)=118215

Totaltime spent by all reduce tasks (ms)=11894

Total vcore-seconds taken by allmap tasks=118215

Total vcore-seconds taken by all reduce tasks=11894

Total megabyte-seconds taken by allmap tasks=121052160

Total megabyte-seconds taken by all reduce tasks=12179456

Map-Reduce Framework

Map input records=10

Map output records=20

Map output bytes=180

Map output materialized bytes=340

Inputsplit bytes=1380

Combine input records=0

Combine output records=0

Reduce input groups=2

Reduce shuffle bytes=340

Reduce input records=20

Reduce output records=0

Spilled Records=40

Shuffled Maps =10

Failed Shuffles=0

Merged Map outputs=10

GCtime elapsed (ms)=1269

CPUtime spent (ms)=9530

Physical memory (bytes) snapshot=3792773120

Virtual memory (bytes) snapshot=16157274112

Total committed heap usage (bytes)=2856624128

Shuffle Errors

BAD_ID=0

CONNECTION=0

IO_ERROR=0

WRONG_LENGTH=0

WRONG_MAP=0

WRONG_REDUCE=0

File Input Format Counters

Bytes Read=1180

File Output Format Counters

Bytes Written=97

Job Finished in262.659 seconds

Estimated value of Pi is3.14800000000000000000

最后 感谢 http://www.tuicool.com/articles/ENjmeaY/ 博主,因为有这个作为参考,可以让自己尽快的熟悉安装流程。具体要通过 日志 来分析问题。

当然,离线安装后可能会因为一些原因想删除 CDH 重新安装, 这里我会在下一篇文章中会体现。

  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议,并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

    957 引用 • 944 回帖
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    346 引用 • 761 回帖 • 2 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • 友情链接

    确认过眼神后的灵魂连接,站在链在!

    24 引用 • 373 回帖 • 2 关注
  • CongSec

    本标签主要用于分享网络空间安全专业的学习笔记

    1 引用 • 1 回帖 • 40 关注
  • Ant-Design

    Ant Design 是服务于企业级产品的设计体系,基于确定和自然的设计价值观上的模块化解决方案,让设计者和开发者专注于更好的用户体验。

    17 引用 • 23 回帖 • 13 关注
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议,它实现了浏览器与服务器之间的全双工通信(full-duplex)。

    48 引用 • 206 回帖 • 277 关注
  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    93 引用 • 122 回帖 • 619 关注
  • JVM

    JVM(Java Virtual Machine)Java 虚拟机是一个微型操作系统,有自己的硬件构架体系,还有相应的指令系统。能够识别 Java 独特的 .class 文件(字节码),能够将这些文件中的信息读取出来,使得 Java 程序只需要生成 Java 虚拟机上的字节码后就能在不同操作系统平台上进行运行。

    180 引用 • 120 回帖
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言,由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码,也可以编译成 JavaScript,方便在没有 JVM 的设备上运行。在 Google I/O 2017 中,Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 91 关注
  • SVN

    SVN 是 Subversion 的简称,是一个开放源代码的版本控制系统,相较于 RCS、CVS,它采用了分支管理系统,它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 695 关注
  • Openfire

    Openfire 是开源的、基于可拓展通讯和表示协议 (XMPP)、采用 Java 编程语言开发的实时协作服务器。Openfire 的效率很高,单台服务器可支持上万并发用户。

    6 引用 • 7 回帖 • 119 关注
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”,在线用户由 1999 年的 2 人(马化腾和张志东)到现在已经发展到上亿用户了,在线人数超过一亿,是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖
  • OpenResty

    OpenResty 是一个基于 NGINX 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

    17 引用 • 52 关注
  • 以太坊

    以太坊(Ethereum)并不是一个机构,而是一款能够在区块链上实现智能合约、开源的底层系统。以太坊是一个平台和一种编程语言 Solidity,使开发人员能够建立和发布下一代去中心化应用。 以太坊可以用来编程、分散、担保和交易任何事物:投票、域名、金融交易所、众筹、公司管理、合同和知识产权等等。

    34 引用 • 367 回帖
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    36 引用 • 200 回帖 • 45 关注
  • Solidity

    Solidity 是一种智能合约高级语言,运行在 [以太坊] 虚拟机(EVM)之上。它的语法接近于 JavaScript,是一种面向对象的语言。

    3 引用 • 18 回帖 • 451 关注
  • 强迫症

    强迫症(OCD)属于焦虑障碍的一种类型,是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病,其特点为有意识的强迫和反强迫并存,一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖
  • 微软

    微软是一家美国跨国科技公司,也是世界 PC 软件开发的先导,由比尔·盖茨与保罗·艾伦创办于 1975 年,公司总部设立在华盛顿州的雷德蒙德(Redmond,邻近西雅图)。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖 • 3 关注
  • Anytype
    3 引用 • 31 回帖 • 36 关注
  • WordPress

    WordPress 是一个使用 PHP 语言开发的博客平台,用户可以在支持 PHP 和 MySQL 数据库的服务器上架设自己的博客。也可以把 WordPress 当作一个内容管理系统(CMS)来使用。WordPress 是一个免费的开源项目,在 GNU 通用公共许可证(GPLv2)下授权发布。

    46 引用 • 114 回帖 • 155 关注
  • SSL

    SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    70 引用 • 193 回帖 • 414 关注
  • SMTP

    SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。SMTP 协议属于 TCP/IP 协议簇,它帮助每台计算机在发送或中转信件时找到下一个目的地。

    4 引用 • 18 回帖 • 644 关注
  • Sym

    Sym 是一款用 Java 实现的现代化社区(论坛/BBS/社交网络/博客)系统平台。

    下一代的社区系统,为未来而构建

    524 引用 • 4601 回帖 • 710 关注
  • Solo

    Solo 是一款小而美的开源博客系统,专为程序员设计。Solo 有着非常活跃的社区,可将文章作为帖子推送到社区,来自社区的回帖将作为博客评论进行联动(具体细节请浏览 B3log 构思 - 分布式社区网络)。

    这是一种全新的网络社区体验,让热爱记录和分享的你不再感到孤单!

    1444 引用 • 10083 回帖 • 499 关注
  • jsoup

    jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

    6 引用 • 1 回帖 • 508 关注
  • 安全

    安全永远都不是一个小问题。

    200 引用 • 818 回帖
  • 爬虫

    网络爬虫(Spider、Crawler),是一种按照一定的规则,自动地抓取万维网信息的程序。

    106 引用 • 275 回帖 • 1 关注
  • 支付宝

    支付宝是全球领先的独立第三方支付平台,致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验,及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖
  • GitHub

    GitHub 于 2008 年上线,目前,除了 Git 代码仓库托管及基本的 Web 管理界面以外,还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱(报表)、代码片段分享(Gist)等功能。正因为这些功能所提供的便利,又经过长期的积累,GitHub 的用户活跃度很高,在开源世界里享有深远的声望,并形成了社交化编程文化(Social Coding)。

    211 引用 • 2042 回帖