登录 注册

hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解

本贴最后更新于 3228 天前，其中的信息可能已经时过境迁

hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解
see:
http://www.cnblogs.com/wanghetao/p/3595442.html

节点：
192.168.12.66 hadoop1
192.168.12.67 hadoop2
192.168.12.69 hadoop3
<!--more-->
hadoop1是master,配置NameNode和JobTracker的角色
hadoop安装目录：/usr/local
hadoop用户： hadoop

安装分为3部分，
1）hadoop-1.2.1
2) zookeeper-3.4.6
3) hbase-0.94.27

环境准备：
root job:
1) 时间同步
*/5 * * * * /usr/sbin/ntpdate -u cn.pool.ntp.org

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
第一部分：安装hadoop
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

1. 3台机器安装JDK 1.7.0_51
vi /etc/profile
JAVA_HOME=/usr/jdk
PATH=$JAVA_HOME/bin:$PATH
export PATH

2. 3台机器创建hadoop账户。

3.做三台机器之间做双机互信，
原因master通过远程启动datanode进程和tasktracker进程，如果不做双机互信，会导致每次启动集群服务都会需要密码

3.1 hadoop1/hadoop2/hadoop3
hadoop$ ssh-keygen -t rsa

3.2 将公钥copy到其他2台主机上，做到互信
hadoop1：
[hadoop@test67 ~]$ ssh-copy-id -i hadoop2
[hadoop@test67 ~]$ ssh-copy-id -i hadoop3

hadoop2：
[hadoop@test67 ~]$ ssh-copy-id -i hadoop1
[hadoop@test67 ~]$ ssh-copy-id -i hadoop3

hadoop3：
[hadoop@test67 ~]$ ssh-copy-id -i hadoop1
[hadoop@test67 ~]$ ssh-copy-id -i hadoop2

4. 将hadoop1.2.1放到/usr/local下，且授权给hadoop用户
hadoop1/hadoop2/hadoop3:
[root@test66 local]# chown -R hadoop.hadoop /usr/local/hadoop-1.2.1/


5. 修改参数文件  (先再hadoop1上配置hadoop，然后将hadoop目录传递到hadoop2,hadoop3上)
5.0 3台主机上创建hadoop目录
mkdir -p /hadoop/tmp &amp;&amp; mkdir -p /hadoop/data &amp;&amp;   chown -R hadoop.hadoop /hadoop &amp;&amp; chmod g-w /hadoop/data/
5.1 hadoop-env.sh
echo "export JAVA_HOME=/usr/jdk"  >> /usr/local/hadoop-1.2.1/conf/hadoop-env.sh
5.2 vim /usr/local/hadoop-1.2.1/conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
</property>
</configuration>

5.2 vim /usr/local/hadoop-1.2.1/conf/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

5.3 vim /usr/local/hadoop-1.2.1/conf/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://hadoop1:9001</value>
</property>
</configuration>

5.4 vim /usr/local/hadoop-1.2.1/conf/masters   （    masters 用于指定，辅助名称节点(SecondaryNameNode)的主机名或主机地址）
hadoop1

5.4 vim /usr/local/hadoop-1.2.1/conf/slaves (用于指定各从服务器(TaskTracker或DataNode)的主机名或主机地址)
hadoop2
hadoop3

5.6 配置slave：将配置的hadoop整个目录复制到hadoop2，haoop3
hadoop1 # scp -rp /usr/local/hadoop-1.2.1 hadoop2:/usr/local/
hadoop1 # scp -rp /usr/local/hadoop-1.2.1 hadoop3:/usr/local/

hadoop2 # chown  -R hadoop:hadoop /usr/local/hadoop-1.2.1/
hadoop3 # chown  -R hadoop:hadoop /usr/local/hadoop-1.2.1/


6. 启动集群
6.1 格式化名称节点( hadoop1上执行 )
与普通文件系统一样，HDFS文件系统必须要先格式化，创建元数据数据结构以后才能使用。
hadoop $  /usr/local/hadoop-1.2.1/bin/hadoop namenode -format

6.2 启动集群
/usr/local/hadoop-1.2.1/bin/start-all.sh

6.3 查看集群是否启动
[hadoop@test66 hadoop]$ jps
5722 Jps
5510 SecondaryNameNode
5602 JobTracker
5327 NameNode

验证:
/usr/local/hadoop-1.2.1/bin/hadoop dfsadmin -report

数据节点上：
[hadoop@test69 ~]$ jps
1749 Jps
1574 DataNode
1673 TaskTracker


7. 各端口解释
dfs.http.address：NameNode的HTTP服务器地址和端口，默认为0.0.0.0:50070；
dfs.secondary.http.address：SecondaryNameNode的HTTP服务器地址和端口，默认为0.0.0.0:50090；
mapred.job.tracker.http.addrss：JobTracker的HTTP服务器地址和端口，默认为0.0.0.0:50030；
dfs.datanode.http.address：DataNode的HTTP服务器地址和端口，默认为0.0.0.0:50075；



++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
第二部分：安装zookeeper
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个Leader，多个Follower），基于一定的策略来保证ZooKeeper集群的稳定性和可用性，从而实现分布式应用的可靠性。

hadoop1为zookeeper1，hadoop2为zookeeper2，hadoop33为zookeeper3。

1，下载zookeeper-3.4.4解压到/usr/local/下，并修改权限
# cd /usr/local/ &amp;&amp; wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
# chown -R hadoop:hadoop /usr/local/zookeeper-3.4.6/

2. 配置zookeeper
vi /usr/local/zookeeper-3.4.6/zoo.cfg
tickTime=2000
initLimit=10


syncLimit=5
dataDir=/hadoop/zookeeper
clientPort=2181
server.1=hadoop1:28888:38888
server.2=hadoop2:28888:38888
server.3=hadoop3:28888:38888


3.3台机器上创建snap目录
hadoop$ mkdir -p /hadoop/zookeeper/

hadoop1$ echo "1" > /hadoop/zookeeper/myid
hadoop2$ echo "2" > /hadoop/zookeeper/myid
hadoop3$ echo "3" > /hadoop/zookeeper/myid

4. 复制zookeeper主目录到 hadoop2/hadoop3
# scp -rp /usr/local/zookeeper-3.4.6 hadoop2:/usr/local/
# scp -rp /usr/local/zookeeper-3.4.6 hadoop3:/usr/local/

hadoop1/hadoop2/hadoop3/:
# chown -R hadoop:hadoop /usr/local/zookeeper-3.4.6/

5.在对应的节点上启动服务 (3个节点都需启动)
[hadoop@hadoop01 zookeeper-3.4.4]$ sh /usr/local/zookeeper-3.4.6/bin/zkServer.sh start
三个节点启动完之后，查看
[hadoop@test66 zookeeper-3.4.6]$ jps
3564 QuorumPeerMain
2845 NameNode
3030 SecondaryNameNode
3126 JobTracker
3587 Jps

查看状态
[hadoop@hadoop01 zookeeper-3.4.4]$ sh /usr/local/zookeeper-3.4.6/bin/zkServer.sh status
Mode: follower  --表示是跟从
或者
Mode: leader


+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
第三步：安装HBase
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

1. download hbase (hadoop1)
# cd /usr/local/ &amp;&amp; wget http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.27/hbase-0.94.27.tar.gz &amp;&amp; tar -zxvf hbase-0.94.27.tar.gz &amp;&amp; rm hbase-0.94.27.tar.gz
# chown -R hadoop.hadoop /usr/local/hbase-0.94.27

2.修改配置文件   - hbase-env.sh
vi /usr/local/hbase-0.94.27/conf/hbase-env.sh
export JAVA_HOME=/usr/local/jdk
export HBASE_CLASSPATH=/usr/local/hadoop-1.2.1/conf

#不是hbase自带的zookeeper
export HBASE_MANAGES_ZK=false
export HBASE_HEAPSIZE=1024

3. hbase-site.xml
hadoop $ mkdir -p /hadoop/hbase #3台主机执行。
[hadoop@test66 conf]$ cp /usr/local/hbase-0.94.27/src/main/resources/hbase-default.xml  ./hbase-site.xml

修改1：
<name>hbase.tmp.dir</name>
<value>/hadoop/hbase</value>
修改2：
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
修改3：
<name>hbase.cluster.distributed</name>
<value>true</value>

修改4：
<name>hbase.rootdir</name>
<value>hdfs://hadoop01:9000/hbase</value>

#hbase.rootdir : /hbase是 hbase在hdfs的实际存储为止，namenode运营在hadoop1的9000端口
#hbase.cluster.distributed: false,单机模式,true,分布式模式.如果是false则zk和hbase运行在同一个JVM


4. hadoop2/hadoop3不是hbase
[root@test66 local]# scp -rp /usr/local/hbase-0.94.27/ hadoop2:/usr/local
[root@test66 local]# scp -rp /usr/local/hbase-0.94.27/ hadoop3:/usr/local

hadoop2/hadoop3
[root@test67 ~]# chown -R hadoop.hadoop /usr/local/hbase-0.94.27/

4.启动hbase
[hadoop@test66 logs]$ /usr/local/hbase-0.94.27/bin/start-hbase.sh

5.停止hbase
[hadoop@test66 logs]$ /usr/local/hbase-0.94.27/bin/stop-hbase.sh

HBase HMaster查看hbase信息
http://192.168.12.66:60010/master-status

###
hbase异常
###
[hadoop@test66 conf]$ /usr/local/hbase-0.94.27/bin/start-hbase.sh
Exception in thread "main" java.lang.RuntimeException: hbase-default.xml file seems to be for and old version of HBase (@@@VERSION@@@), this version is 0.94.27
at org.apache.hadoop.hbase.HBaseConfiguration.checkDefaultsVersion(HBaseConfiguration.java:68)
at org.apache.hadoop.hbase.HBaseConfiguration.addHbaseResources(HBaseConfiguration.java:100
解决办法：
打开hbase-site.xml
查找 hbase.defaults.for.version.skip
将值设为true



5，连接hbase创建表
/usr/local/hbase-0.94.27/bin/hbase shell

创建一个名为 small的表，这个表只有一个 column family 为 cf。可以列出所有的表来检查创建情况，然后插入些值。
hbase(main):002:0> create 'small', 'cf'
hbase(main):006:0> list
TABLE
small
1 row(s) in 0.0300 seconds

插入一些数据
hbase(main):007:0> put 'small','r1','cf:a','v1'
0 row(s) in 0.0800 seconds

hbase(main):008:0> put 'small','r2','cf:b','v2'
0 row(s) in 0.0110 seconds

hbase(main):009:0> put 'small','r3','cf:c','v3'
0 row(s) in 0.0040 seconds

查询small表数据
hbase(main):010:0> scan 'small'
ROW                                        COLUMN+CELL
r1                                        column=cf:a, timestamp=1436252912994, value=v1
r2                                        column=cf:b, timestamp=1436252921003, value=v2
r3                                        column=cf:c, timestamp=1436252925324, value=v3
3 row(s) in 0.0290 seconds

行键、列族名、限定符、时间戳唯一标识

查询一行
hbase(main):011:0> get 'small', 'r1'
COLUMN                                     CELL
cf:a                                      timestamp=1436252912994, value=v1
1 row(s) in 0.0150 seconds


disable 再 drop 这张表，可以清除你刚刚的操作

hbase(main):012:0> disable 'small'
0 row(s) in 1.0930 seconds
hbase(main):013:0> drop 'small'
0 row(s) in 0.0770 seconds



+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
启动HBASE
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
1,启动 hadoop (只在hmaster上启动)
/usr/local/hadoop-1.2.1/bin/start-all.sh

2.启动zk (3台都需要启动)
sh /usr/local/zookeeper-3.4.6/bin/zkServer.sh start

3.启动hbase (只在hmaster上启动)
/usr/local/hbase-0.94.27/bin/start-hbase.shVC  HGFD V

  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

    89 引用 • 122 回帖 • 616 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖
  • HBase

    HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable：一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样，HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 60 关注
1 赞同
694 3 57 148 49 60 1 48 320

相关帖子

回帖
hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
cactus0509
回帖
0
 帖子
21
 积分
2005

近期热议

推荐标签 标签

  • 黑曜石

    黑曜石是一款强大的知识库工具，支持本地 Markdown 文件编辑，支持双向链接和关系图。

    A second brain, for you, forever.

    22 引用 • 214 回帖
  • Eclipse

    Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。

    76 引用 • 258 回帖 • 627 关注
  • 阿里巴巴

    阿里巴巴网络技术有限公司（简称：阿里巴巴集团）是以曾担任英语教师的马云为首的 18 人，于 1999 年在中国杭州创立，他们相信互联网能够创造公平的竞争环境，让小企业通过创新与科技扩展业务，并在参与国内或全球市场竞争时处于更有利的位置。

    43 引用 • 221 回帖 • 70 关注
  • WiFiDog

    WiFiDog 是一套开源的无线热点认证管理工具，主要功能包括：位置相关的内容递送；用户认证和授权；集中式网络监控。

    1 引用 • 7 回帖 • 611 关注
  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端，也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖 • 1 关注
  • Love2D

    Love2D 是一个开源的， 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 553 关注
  • H2

    H2 是一个开源的嵌入式数据库引擎，采用 Java 语言编写，不受平台的限制，同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式，可以兼容一些主流的数据库，因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 667 关注
  • 微软

    微软是一家美国跨国科技公司，也是世界 PC 软件开发的先导，由比尔·盖茨与保罗·艾伦创办于 1975 年，公司总部设立在华盛顿州的雷德蒙德（Redmond，邻近西雅图）。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖 • 1 关注
  • JVM

    JVM（Java Virtual Machine）Java 虚拟机是一个微型操作系统，有自己的硬件构架体系，还有相应的指令系统。能够识别 Java 独特的 .class 文件（字节码），能够将这些文件中的信息读取出来，使得 Java 程序只需要生成 Java 虚拟机上的字节码后就能在不同操作系统平台上进行运行。

    180 引用 • 120 回帖
  • 人工智能

    人工智能（Artificial Intelligence）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

    163 引用 • 310 回帖
  • MySQL

    MySQL 是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。MySQL 是最流行的关系型数据库管理系统之一。

    693 引用 • 537 回帖
  • 资讯

    资讯是用户因为及时地获得它并利用它而能够在相对短的时间内给自己带来价值的信息，资讯有时效性和地域性。

    56 引用 • 85 回帖 • 1 关注
  • 游戏

    沉迷游戏伤身，强撸灰飞烟灭。

    181 引用 • 821 回帖
  • 禅道

    禅道是一款国产的开源项目管理软件，她的核心管理思想基于敏捷方法 scrum，内置了产品管理和项目管理，同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能，在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来，完整地覆盖了项目管理的核心流程。

    6 引用 • 15 回帖 • 24 关注
  • Sphinx

    Sphinx 是一个基于 SQL 的全文检索引擎，可以结合 MySQL、PostgreSQL 做全文搜索，它可以提供比数据库本身更专业的搜索功能，使得应用程序更容易实现专业化的全文检索。

    1 引用 • 224 关注
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量，事件及实时分析。

    2 引用 • 89 关注
  • Swagger

    Swagger 是一款非常流行的 API 开发工具，它遵循 OpenAPI Specification（这是一种通用的、和编程语言无关的 API 描述规范）。Swagger 贯穿整个 API 生命周期，如 API 的设计、编写文档、测试和部署。

    26 引用 • 35 回帖 • 1 关注
  • 博客

    记录并分享人生的经历。

    273 引用 • 2388 回帖
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发，并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例： https://wide.b3log.org

    30 引用 • 218 回帖 • 643 关注
  • V2EX

    V2EX 是创意工作者们的社区。这里目前汇聚了超过 400,000 名主要来自互联网行业、游戏行业和媒体行业的创意工作者。V2EX 希望能够成为创意工作者们的生活和事业的一部分。

    16 引用 • 236 回帖 • 267 关注
  • 开源

    Open Source, Open Mind, Open Sight, Open Future!

    411 引用 • 3588 回帖 • 1 关注
  • MyBatis

    MyBatis 本是 Apache 软件基金会 的一个开源项目 iBatis，2010 年这个项目由 Apache 软件基金会迁移到了 google code，并且改名为 MyBatis ，2013 年 11 月再次迁移到了 GitHub。

    173 引用 • 414 回帖 • 368 关注
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

    23 引用 • 32 回帖 • 1 关注
  • sts
    2 引用 • 2 回帖 • 226 关注
  • 大疆创新

    深圳市大疆创新科技有限公司(DJI-Innovations，简称 DJI)，成立于 2006 年，是全球领先的无人飞行器控制系统及无人机解决方案的研发和生产商，客户遍布全球 100 多个国家。通过持续的创新，大疆致力于为无人机工业、行业用户以及专业航拍应用提供性能最强、体验最佳的革命性智能飞控产品和解决方案。

    2 引用 • 14 回帖 • 1 关注
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统，主要使用于便携设备。2005 年由 Google 收购注资，并拉拢多家制造商组成开放手机联盟开发改良，逐渐扩展到到平板电脑及其他领域上。

    335 引用 • 324 回帖
  • 开源中国

    开源中国是目前中国最大的开源技术社区。传播开源的理念，推广开源项目，为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。

    7 引用 • 86 回帖

最新标签