登录 注册

hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解

本贴最后更新于 3093 天前，其中的信息可能已经时过境迁

hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解
see:
http://www.cnblogs.com/wanghetao/p/3595442.html

节点：
192.168.12.66 hadoop1
192.168.12.67 hadoop2
192.168.12.69 hadoop3
<!--more-->
hadoop1是master,配置NameNode和JobTracker的角色
hadoop安装目录：/usr/local
hadoop用户： hadoop

安装分为3部分，
1）hadoop-1.2.1
2) zookeeper-3.4.6
3) hbase-0.94.27

环境准备：
root job:
1) 时间同步
*/5 * * * * /usr/sbin/ntpdate -u cn.pool.ntp.org

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
第一部分：安装hadoop
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

1. 3台机器安装JDK 1.7.0_51
vi /etc/profile
JAVA_HOME=/usr/jdk
PATH=$JAVA_HOME/bin:$PATH
export PATH

2. 3台机器创建hadoop账户。

3.做三台机器之间做双机互信，
原因master通过远程启动datanode进程和tasktracker进程，如果不做双机互信，会导致每次启动集群服务都会需要密码

3.1 hadoop1/hadoop2/hadoop3
hadoop$ ssh-keygen -t rsa

3.2 将公钥copy到其他2台主机上，做到互信
hadoop1：
[hadoop@test67 ~]$ ssh-copy-id -i hadoop2
[hadoop@test67 ~]$ ssh-copy-id -i hadoop3

hadoop2：
[hadoop@test67 ~]$ ssh-copy-id -i hadoop1
[hadoop@test67 ~]$ ssh-copy-id -i hadoop3

hadoop3：
[hadoop@test67 ~]$ ssh-copy-id -i hadoop1
[hadoop@test67 ~]$ ssh-copy-id -i hadoop2

4. 将hadoop1.2.1放到/usr/local下，且授权给hadoop用户
hadoop1/hadoop2/hadoop3:
[root@test66 local]# chown -R hadoop.hadoop /usr/local/hadoop-1.2.1/


5. 修改参数文件  (先再hadoop1上配置hadoop，然后将hadoop目录传递到hadoop2,hadoop3上)
5.0 3台主机上创建hadoop目录
mkdir -p /hadoop/tmp &amp;&amp; mkdir -p /hadoop/data &amp;&amp;   chown -R hadoop.hadoop /hadoop &amp;&amp; chmod g-w /hadoop/data/
5.1 hadoop-env.sh
echo "export JAVA_HOME=/usr/jdk"  >> /usr/local/hadoop-1.2.1/conf/hadoop-env.sh
5.2 vim /usr/local/hadoop-1.2.1/conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
</property>
</configuration>

5.2 vim /usr/local/hadoop-1.2.1/conf/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

5.3 vim /usr/local/hadoop-1.2.1/conf/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://hadoop1:9001</value>
</property>
</configuration>

5.4 vim /usr/local/hadoop-1.2.1/conf/masters   （    masters 用于指定，辅助名称节点(SecondaryNameNode)的主机名或主机地址）
hadoop1

5.4 vim /usr/local/hadoop-1.2.1/conf/slaves (用于指定各从服务器(TaskTracker或DataNode)的主机名或主机地址)
hadoop2
hadoop3

5.6 配置slave：将配置的hadoop整个目录复制到hadoop2，haoop3
hadoop1 # scp -rp /usr/local/hadoop-1.2.1 hadoop2:/usr/local/
hadoop1 # scp -rp /usr/local/hadoop-1.2.1 hadoop3:/usr/local/

hadoop2 # chown  -R hadoop:hadoop /usr/local/hadoop-1.2.1/
hadoop3 # chown  -R hadoop:hadoop /usr/local/hadoop-1.2.1/


6. 启动集群
6.1 格式化名称节点( hadoop1上执行 )
与普通文件系统一样，HDFS文件系统必须要先格式化，创建元数据数据结构以后才能使用。
hadoop $  /usr/local/hadoop-1.2.1/bin/hadoop namenode -format

6.2 启动集群
/usr/local/hadoop-1.2.1/bin/start-all.sh

6.3 查看集群是否启动
[hadoop@test66 hadoop]$ jps
5722 Jps
5510 SecondaryNameNode
5602 JobTracker
5327 NameNode

验证:
/usr/local/hadoop-1.2.1/bin/hadoop dfsadmin -report

数据节点上：
[hadoop@test69 ~]$ jps
1749 Jps
1574 DataNode
1673 TaskTracker


7. 各端口解释
dfs.http.address：NameNode的HTTP服务器地址和端口，默认为0.0.0.0:50070；
dfs.secondary.http.address：SecondaryNameNode的HTTP服务器地址和端口，默认为0.0.0.0:50090；
mapred.job.tracker.http.addrss：JobTracker的HTTP服务器地址和端口，默认为0.0.0.0:50030；
dfs.datanode.http.address：DataNode的HTTP服务器地址和端口，默认为0.0.0.0:50075；



++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
第二部分：安装zookeeper
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个Leader，多个Follower），基于一定的策略来保证ZooKeeper集群的稳定性和可用性，从而实现分布式应用的可靠性。

hadoop1为zookeeper1，hadoop2为zookeeper2，hadoop33为zookeeper3。

1，下载zookeeper-3.4.4解压到/usr/local/下，并修改权限
# cd /usr/local/ &amp;&amp; wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
# chown -R hadoop:hadoop /usr/local/zookeeper-3.4.6/

2. 配置zookeeper
vi /usr/local/zookeeper-3.4.6/zoo.cfg
tickTime=2000
initLimit=10


syncLimit=5
dataDir=/hadoop/zookeeper
clientPort=2181
server.1=hadoop1:28888:38888
server.2=hadoop2:28888:38888
server.3=hadoop3:28888:38888


3.3台机器上创建snap目录
hadoop$ mkdir -p /hadoop/zookeeper/

hadoop1$ echo "1" > /hadoop/zookeeper/myid
hadoop2$ echo "2" > /hadoop/zookeeper/myid
hadoop3$ echo "3" > /hadoop/zookeeper/myid

4. 复制zookeeper主目录到 hadoop2/hadoop3
# scp -rp /usr/local/zookeeper-3.4.6 hadoop2:/usr/local/
# scp -rp /usr/local/zookeeper-3.4.6 hadoop3:/usr/local/

hadoop1/hadoop2/hadoop3/:
# chown -R hadoop:hadoop /usr/local/zookeeper-3.4.6/

5.在对应的节点上启动服务 (3个节点都需启动)
[hadoop@hadoop01 zookeeper-3.4.4]$ sh /usr/local/zookeeper-3.4.6/bin/zkServer.sh start
三个节点启动完之后，查看
[hadoop@test66 zookeeper-3.4.6]$ jps
3564 QuorumPeerMain
2845 NameNode
3030 SecondaryNameNode
3126 JobTracker
3587 Jps

查看状态
[hadoop@hadoop01 zookeeper-3.4.4]$ sh /usr/local/zookeeper-3.4.6/bin/zkServer.sh status
Mode: follower  --表示是跟从
或者
Mode: leader


+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
第三步：安装HBase
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

1. download hbase (hadoop1)
# cd /usr/local/ &amp;&amp; wget http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.27/hbase-0.94.27.tar.gz &amp;&amp; tar -zxvf hbase-0.94.27.tar.gz &amp;&amp; rm hbase-0.94.27.tar.gz
# chown -R hadoop.hadoop /usr/local/hbase-0.94.27

2.修改配置文件   - hbase-env.sh
vi /usr/local/hbase-0.94.27/conf/hbase-env.sh
export JAVA_HOME=/usr/local/jdk
export HBASE_CLASSPATH=/usr/local/hadoop-1.2.1/conf

#不是hbase自带的zookeeper
export HBASE_MANAGES_ZK=false
export HBASE_HEAPSIZE=1024

3. hbase-site.xml
hadoop $ mkdir -p /hadoop/hbase #3台主机执行。
[hadoop@test66 conf]$ cp /usr/local/hbase-0.94.27/src/main/resources/hbase-default.xml  ./hbase-site.xml

修改1：
<name>hbase.tmp.dir</name>
<value>/hadoop/hbase</value>
修改2：
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
修改3：
<name>hbase.cluster.distributed</name>
<value>true</value>

修改4：
<name>hbase.rootdir</name>
<value>hdfs://hadoop01:9000/hbase</value>

#hbase.rootdir : /hbase是 hbase在hdfs的实际存储为止，namenode运营在hadoop1的9000端口
#hbase.cluster.distributed: false,单机模式,true,分布式模式.如果是false则zk和hbase运行在同一个JVM


4. hadoop2/hadoop3不是hbase
[root@test66 local]# scp -rp /usr/local/hbase-0.94.27/ hadoop2:/usr/local
[root@test66 local]# scp -rp /usr/local/hbase-0.94.27/ hadoop3:/usr/local

hadoop2/hadoop3
[root@test67 ~]# chown -R hadoop.hadoop /usr/local/hbase-0.94.27/

4.启动hbase
[hadoop@test66 logs]$ /usr/local/hbase-0.94.27/bin/start-hbase.sh

5.停止hbase
[hadoop@test66 logs]$ /usr/local/hbase-0.94.27/bin/stop-hbase.sh

HBase HMaster查看hbase信息
http://192.168.12.66:60010/master-status

###
hbase异常
###
[hadoop@test66 conf]$ /usr/local/hbase-0.94.27/bin/start-hbase.sh
Exception in thread "main" java.lang.RuntimeException: hbase-default.xml file seems to be for and old version of HBase (@@@VERSION@@@), this version is 0.94.27
at org.apache.hadoop.hbase.HBaseConfiguration.checkDefaultsVersion(HBaseConfiguration.java:68)
at org.apache.hadoop.hbase.HBaseConfiguration.addHbaseResources(HBaseConfiguration.java:100
解决办法：
打开hbase-site.xml
查找 hbase.defaults.for.version.skip
将值设为true



5，连接hbase创建表
/usr/local/hbase-0.94.27/bin/hbase shell

创建一个名为 small的表，这个表只有一个 column family 为 cf。可以列出所有的表来检查创建情况，然后插入些值。
hbase(main):002:0> create 'small', 'cf'
hbase(main):006:0> list
TABLE
small
1 row(s) in 0.0300 seconds

插入一些数据
hbase(main):007:0> put 'small','r1','cf:a','v1'
0 row(s) in 0.0800 seconds

hbase(main):008:0> put 'small','r2','cf:b','v2'
0 row(s) in 0.0110 seconds

hbase(main):009:0> put 'small','r3','cf:c','v3'
0 row(s) in 0.0040 seconds

查询small表数据
hbase(main):010:0> scan 'small'
ROW                                        COLUMN+CELL
r1                                        column=cf:a, timestamp=1436252912994, value=v1
r2                                        column=cf:b, timestamp=1436252921003, value=v2
r3                                        column=cf:c, timestamp=1436252925324, value=v3
3 row(s) in 0.0290 seconds

行键、列族名、限定符、时间戳唯一标识

查询一行
hbase(main):011:0> get 'small', 'r1'
COLUMN                                     CELL
cf:a                                      timestamp=1436252912994, value=v1
1 row(s) in 0.0150 seconds


disable 再 drop 这张表，可以清除你刚刚的操作

hbase(main):012:0> disable 'small'
0 row(s) in 1.0930 seconds
hbase(main):013:0> drop 'small'
0 row(s) in 0.0770 seconds



+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
启动HBASE
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
1,启动 hadoop (只在hmaster上启动)
/usr/local/hadoop-1.2.1/bin/start-all.sh

2.启动zk (3台都需要启动)
sh /usr/local/zookeeper-3.4.6/bin/zkServer.sh start

3.启动hbase (只在hmaster上启动)
/usr/local/hbase-0.94.27/bin/start-hbase.shVC  HGFD V

  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

    86 引用 • 122 回帖 • 624 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 9 关注
  • HBase

    HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable：一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样，HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 75 关注
1 赞同
686 3 57 148 49 60 1 48 312

相关帖子

回帖
hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
cactus0509
回帖
0
 帖子
21
 积分
2005

近期热议

推荐标签 标签

  • WordPress

    WordPress 是一个使用 PHP 语言开发的博客平台，用户可以在支持 PHP 和 MySQL 数据库的服务器上架设自己的博客。也可以把 WordPress 当作一个内容管理系统（CMS）来使用。WordPress 是一个免费的开源项目，在 GNU 通用公共许可证（GPLv2）下授权发布。

    66 引用 • 114 回帖 • 228 关注
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架，使用 Node.js 编写。

    21 引用 • 140 回帖 • 2 关注
  • Ruby

    Ruby 是一种开源的面向对象程序设计的服务器端脚本语言，在 20 世纪 90 年代中期由日本的松本行弘（まつもとゆきひろ/Yukihiro Matsumoto）设计并开发。在 Ruby 社区，松本也被称为马茨（Matz）。

    7 引用 • 31 回帖 • 218 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 10 关注
  • 链滴

    链滴是一个记录生活的地方。

    记录生活，连接点滴

    155 引用 • 3790 回帖
  • jsoup

    jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

    6 引用 • 1 回帖 • 483 关注
  • ngrok

    ngrok 是一个反向代理，通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道。

    7 引用 • 63 回帖 • 625 关注
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

    23 引用 • 32 回帖
  • React

    React 是 Facebook 开源的一个用于构建 UI 的 JavaScript 库。

    192 引用 • 291 回帖 • 373 关注
  • RYMCU

    RYMCU 致力于打造一个即严谨又活泼、专业又不失有趣，为数百万人服务的开源嵌入式知识学习交流平台。

    4 引用 • 6 回帖 • 54 关注
  • 机器学习

    机器学习（Machine Learning）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

    83 引用 • 37 回帖
  • Chrome

    Chrome 又称 Google 浏览器，是一个由谷歌公司开发的网页浏览器。该浏览器是基于其他开源软件所编写，包括 WebKit，目标是提升稳定性、速度和安全性，并创造出简单且有效率的使用者界面。

    62 引用 • 289 回帖 • 2 关注
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    8317 引用 • 37908 回帖 • 157 关注
  • TGIF

    Thank God It's Friday! 感谢老天，总算到星期五啦！

    287 引用 • 4484 回帖 • 664 关注
  • 七牛云

    七牛云是国内领先的企业级公有云服务商，致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景，七牛先后推出了对象存储，融合 CDN 加速，数据通用处理，内容反垃圾服务，以及直播云服务等。

    27 引用 • 225 回帖 • 171 关注
  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API。从 2010 年 3 月 15 日起，Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始，Redis 的开发由 Pivotal 赞助。

    286 引用 • 248 回帖 • 49 关注
  • ZeroNet

    ZeroNet 是一个基于比特币加密技术和 BT 网络技术的去中心化的、开放开源的网络和交流系统。

    1 引用 • 21 回帖 • 636 关注
  • 分享

    有什么新发现就分享给大家吧！

    248 引用 • 1794 回帖
  • Electron

    Electron 基于 Chromium 和 Node.js，让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目，兼容 Mac、Windows 和 Linux，它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖
  • LaTeX

    LaTeX（音译“拉泰赫”）是一种基于 ΤΕΧ 的排版系统，由美国计算机学家莱斯利·兰伯特（Leslie Lamport）在 20 世纪 80 年代初期开发，利用这种格式，即使使用者没有排版和程序设计的知识也可以充分发挥由 TeX 所提供的强大功能，能在几天，甚至几小时内生成很多具有书籍质量的印刷品。对于生成复杂表格和数学公式，这一点表现得尤为突出。因此它非常适用于生成高印刷质量的科技和数学类文档。

    12 引用 • 54 回帖 • 49 关注
  • App

    App（应用程序，Application 的缩写）一般指手机软件。

    91 引用 • 384 回帖
  • Ubuntu

    Ubuntu（友帮拓、优般图、乌班图）是一个以桌面应用为主的 Linux 操作系统，其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观，类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    126 引用 • 169 回帖 • 2 关注
  • 微软

    微软是一家美国跨国科技公司，也是世界 PC 软件开发的先导，由比尔·盖茨与保罗·艾伦创办于 1975 年，公司总部设立在华盛顿州的雷德蒙德（Redmond，邻近西雅图）。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖
  • flomo

    flomo 是新一代 「卡片笔记」 ，专注在碎片化时代，促进你的记录，帮你积累更多知识资产。

    5 引用 • 107 回帖 • 2 关注
  • Spring

    Spring 是一个开源框架，是于 2003 年兴起的一个轻量级的 Java 开发框架，由 Rod Johnson 在其著作《Expert One-On-One J2EE Development and Design》中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为 JavaEE 应用程序开发提供集成的框架。

    943 引用 • 1460 回帖 • 15 关注
  • 服务

    提供一个服务绝不仅仅是简单的把硬件和软件累加在一起，它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。

    41 引用 • 24 回帖
  • TextBundle

    TextBundle 文件格式旨在应用程序之间交换 Markdown 或 Fountain 之类的纯文本文件时，提供更无缝的用户体验。

    1 引用 • 2 回帖 • 55 关注

最新标签