hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解

本贴最后更新于 3395 天前,其中的信息可能已经时过境迁

hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解
see:
http://www.cnblogs.com/wanghetao/p/3595442.html

节点:
192.168.12.66 hadoop1
192.168.12.67 hadoop2
192.168.12.69 hadoop3
<!--more-->
hadoop1是master,配置NameNode和JobTracker的角色
hadoop安装目录:/usr/local
hadoop用户: hadoop

安装分为3部分,
1)hadoop-1.2.1
2) zookeeper-3.4.6
3) hbase-0.94.27

环境准备:
root job:
1) 时间同步
*/5 * * * * /usr/sbin/ntpdate -u cn.pool.ntp.org

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
第一部分:安装hadoop
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

1. 3台机器安装JDK 1.7.0_51
vi /etc/profile
JAVA_HOME=/usr/jdk
PATH=$JAVA_HOME/bin:$PATH
export PATH

2. 3台机器创建hadoop账户。

3.做三台机器之间做双机互信,
原因master通过远程启动datanode进程和tasktracker进程,如果不做双机互信,会导致每次启动集群服务都会需要密码

3.1 hadoop1/hadoop2/hadoop3
hadoop$ ssh-keygen -t rsa

3.2 将公钥copy到其他2台主机上,做到互信
hadoop1:
[hadoop@test67 ~]$ ssh-copy-id -i hadoop2
[hadoop@test67 ~]$ ssh-copy-id -i hadoop3

hadoop2:
[hadoop@test67 ~]$ ssh-copy-id -i hadoop1
[hadoop@test67 ~]$ ssh-copy-id -i hadoop3

hadoop3:
[hadoop@test67 ~]$ ssh-copy-id -i hadoop1
[hadoop@test67 ~]$ ssh-copy-id -i hadoop2

4. 将hadoop1.2.1放到/usr/local下,且授权给hadoop用户
hadoop1/hadoop2/hadoop3:
[root@test66 local]# chown -R hadoop.hadoop /usr/local/hadoop-1.2.1/


5. 修改参数文件  (先再hadoop1上配置hadoop,然后将hadoop目录传递到hadoop2,hadoop3上)
5.0 3台主机上创建hadoop目录
mkdir -p /hadoop/tmp &amp;&amp; mkdir -p /hadoop/data &amp;&amp;   chown -R hadoop.hadoop /hadoop &amp;&amp; chmod g-w /hadoop/data/
5.1 hadoop-env.sh
echo "export JAVA_HOME=/usr/jdk"  >> /usr/local/hadoop-1.2.1/conf/hadoop-env.sh
5.2 vim /usr/local/hadoop-1.2.1/conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
</property>
</configuration>

5.2 vim /usr/local/hadoop-1.2.1/conf/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

5.3 vim /usr/local/hadoop-1.2.1/conf/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://hadoop1:9001</value>
</property>
</configuration>

5.4 vim /usr/local/hadoop-1.2.1/conf/masters   (    masters 用于指定,辅助名称节点(SecondaryNameNode)的主机名或主机地址)
hadoop1

5.4 vim /usr/local/hadoop-1.2.1/conf/slaves (用于指定各从服务器(TaskTracker或DataNode)的主机名或主机地址)
hadoop2
hadoop3

5.6 配置slave:将配置的hadoop整个目录复制到hadoop2,haoop3
hadoop1 # scp -rp /usr/local/hadoop-1.2.1 hadoop2:/usr/local/
hadoop1 # scp -rp /usr/local/hadoop-1.2.1 hadoop3:/usr/local/

hadoop2 # chown  -R hadoop:hadoop /usr/local/hadoop-1.2.1/
hadoop3 # chown  -R hadoop:hadoop /usr/local/hadoop-1.2.1/


6. 启动集群
6.1 格式化名称节点( hadoop1上执行 )
与普通文件系统一样,HDFS文件系统必须要先格式化,创建元数据数据结构以后才能使用。
hadoop $  /usr/local/hadoop-1.2.1/bin/hadoop namenode -format

6.2 启动集群
/usr/local/hadoop-1.2.1/bin/start-all.sh

6.3 查看集群是否启动
[hadoop@test66 hadoop]$ jps
5722 Jps
5510 SecondaryNameNode
5602 JobTracker
5327 NameNode

验证:
/usr/local/hadoop-1.2.1/bin/hadoop dfsadmin -report

数据节点上:
[hadoop@test69 ~]$ jps
1749 Jps
1574 DataNode
1673 TaskTracker


7. 各端口解释
dfs.http.address:NameNode的HTTP服务器地址和端口,默认为0.0.0.0:50070;
dfs.secondary.http.address:SecondaryNameNode的HTTP服务器地址和端口,默认为0.0.0.0:50090;
mapred.job.tracker.http.addrss:JobTracker的HTTP服务器地址和端口,默认为0.0.0.0:50030;
dfs.datanode.http.address:DataNode的HTTP服务器地址和端口,默认为0.0.0.0:50075;



++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
第二部分:安装zookeeper
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

ZooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。

hadoop1为zookeeper1,hadoop2为zookeeper2,hadoop33为zookeeper3。

1,下载zookeeper-3.4.4解压到/usr/local/下,并修改权限
# cd /usr/local/ &amp;&amp; wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
# chown -R hadoop:hadoop /usr/local/zookeeper-3.4.6/

2. 配置zookeeper
vi /usr/local/zookeeper-3.4.6/zoo.cfg
tickTime=2000
initLimit=10


syncLimit=5
dataDir=/hadoop/zookeeper
clientPort=2181
server.1=hadoop1:28888:38888
server.2=hadoop2:28888:38888
server.3=hadoop3:28888:38888


3.3台机器上创建snap目录
hadoop$ mkdir -p /hadoop/zookeeper/

hadoop1$ echo "1" > /hadoop/zookeeper/myid
hadoop2$ echo "2" > /hadoop/zookeeper/myid
hadoop3$ echo "3" > /hadoop/zookeeper/myid

4. 复制zookeeper主目录到 hadoop2/hadoop3
# scp -rp /usr/local/zookeeper-3.4.6 hadoop2:/usr/local/
# scp -rp /usr/local/zookeeper-3.4.6 hadoop3:/usr/local/

hadoop1/hadoop2/hadoop3/:
# chown -R hadoop:hadoop /usr/local/zookeeper-3.4.6/

5.在对应的节点上启动服务 (3个节点都需启动)
[hadoop@hadoop01 zookeeper-3.4.4]$ sh /usr/local/zookeeper-3.4.6/bin/zkServer.sh start
三个节点启动完之后,查看
[hadoop@test66 zookeeper-3.4.6]$ jps
3564 QuorumPeerMain
2845 NameNode
3030 SecondaryNameNode
3126 JobTracker
3587 Jps

查看状态
[hadoop@hadoop01 zookeeper-3.4.4]$ sh /usr/local/zookeeper-3.4.6/bin/zkServer.sh status
Mode: follower  --表示是跟从
或者
Mode: leader


+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
第三步:安装HBase
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

1. download hbase (hadoop1)
# cd /usr/local/ &amp;&amp; wget http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.27/hbase-0.94.27.tar.gz &amp;&amp; tar -zxvf hbase-0.94.27.tar.gz &amp;&amp; rm hbase-0.94.27.tar.gz
# chown -R hadoop.hadoop /usr/local/hbase-0.94.27

2.修改配置文件   - hbase-env.sh
vi /usr/local/hbase-0.94.27/conf/hbase-env.sh
export JAVA_HOME=/usr/local/jdk
export HBASE_CLASSPATH=/usr/local/hadoop-1.2.1/conf

#不是hbase自带的zookeeper
export HBASE_MANAGES_ZK=false
export HBASE_HEAPSIZE=1024

3. hbase-site.xml
hadoop $ mkdir -p /hadoop/hbase #3台主机执行。
[hadoop@test66 conf]$ cp /usr/local/hbase-0.94.27/src/main/resources/hbase-default.xml  ./hbase-site.xml

修改1:
<name>hbase.tmp.dir</name>
<value>/hadoop/hbase</value>
修改2:
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
修改3:
<name>hbase.cluster.distributed</name>
<value>true</value>

修改4:
<name>hbase.rootdir</name>
<value>hdfs://hadoop01:9000/hbase</value>

#hbase.rootdir : /hbase是 hbase在hdfs的实际存储为止,namenode运营在hadoop1的9000端口
#hbase.cluster.distributed: false,单机模式,true,分布式模式.如果是false则zk和hbase运行在同一个JVM


4. hadoop2/hadoop3不是hbase
[root@test66 local]# scp -rp /usr/local/hbase-0.94.27/ hadoop2:/usr/local
[root@test66 local]# scp -rp /usr/local/hbase-0.94.27/ hadoop3:/usr/local

hadoop2/hadoop3
[root@test67 ~]# chown -R hadoop.hadoop /usr/local/hbase-0.94.27/

4.启动hbase
[hadoop@test66 logs]$ /usr/local/hbase-0.94.27/bin/start-hbase.sh

5.停止hbase
[hadoop@test66 logs]$ /usr/local/hbase-0.94.27/bin/stop-hbase.sh

HBase HMaster查看hbase信息
http://192.168.12.66:60010/master-status

###
hbase异常
###
[hadoop@test66 conf]$ /usr/local/hbase-0.94.27/bin/start-hbase.sh
Exception in thread "main" java.lang.RuntimeException: hbase-default.xml file seems to be for and old version of HBase (@@@VERSION@@@), this version is 0.94.27
at org.apache.hadoop.hbase.HBaseConfiguration.checkDefaultsVersion(HBaseConfiguration.java:68)
at org.apache.hadoop.hbase.HBaseConfiguration.addHbaseResources(HBaseConfiguration.java:100
解决办法:
打开hbase-site.xml
查找 hbase.defaults.for.version.skip
将值设为true



5,连接hbase创建表
/usr/local/hbase-0.94.27/bin/hbase shell

创建一个名为 small的表,这个表只有一个 column family 为 cf。可以列出所有的表来检查创建情况,然后插入些值。
hbase(main):002:0> create 'small', 'cf'
hbase(main):006:0> list
TABLE
small
1 row(s) in 0.0300 seconds

插入一些数据
hbase(main):007:0> put 'small','r1','cf:a','v1'
0 row(s) in 0.0800 seconds

hbase(main):008:0> put 'small','r2','cf:b','v2'
0 row(s) in 0.0110 seconds

hbase(main):009:0> put 'small','r3','cf:c','v3'
0 row(s) in 0.0040 seconds

查询small表数据
hbase(main):010:0> scan 'small'
ROW                                        COLUMN+CELL
r1                                        column=cf:a, timestamp=1436252912994, value=v1
r2                                        column=cf:b, timestamp=1436252921003, value=v2
r3                                        column=cf:c, timestamp=1436252925324, value=v3
3 row(s) in 0.0290 seconds

行键、列族名、限定符、时间戳唯一标识

查询一行
hbase(main):011:0> get 'small', 'r1'
COLUMN                                     CELL
cf:a                                      timestamp=1436252912994, value=v1
1 row(s) in 0.0150 seconds


disable 再 drop 这张表,可以清除你刚刚的操作

hbase(main):012:0> disable 'small'
0 row(s) in 1.0930 seconds
hbase(main):013:0> drop 'small'
0 row(s) in 0.0770 seconds



+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
启动HBASE
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
1,启动 hadoop (只在hmaster上启动)
/usr/local/hadoop-1.2.1/bin/start-all.sh

2.启动zk (3台都需要启动)
sh /usr/local/zookeeper-3.4.6/bin/zkServer.sh start

3.启动hbase (只在hmaster上启动)
/usr/local/hbase-0.94.27/bin/start-hbase.shVC  HGFD V

  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    93 引用 • 122 回帖 • 629 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    61 引用 • 29 回帖
  • HBase

    HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样,HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 69 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言,应用广泛。C++ 支持多种编程范式,面向对象编程、泛型编程和过程化编程。

    108 引用 • 153 回帖
  • 互联网

    互联网(Internet),又称网际网络,或音译因特网、英特网。互联网始于 1969 年美国的阿帕网,是网络与网络之间所串连成的庞大网络,这些网络以一组通用的协议相连,形成逻辑上的单一巨大国际网络。

    98 引用 • 367 回帖
  • Hibernate

    Hibernate 是一个开放源代码的对象关系映射框架,它对 JDBC 进行了非常轻量级的对象封装,使得 Java 程序员可以随心所欲的使用对象编程思维来操纵数据库。

    39 引用 • 103 回帖 • 733 关注
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3205 引用 • 8217 回帖
  • Bootstrap

    Bootstrap 是 Twitter 推出的一个用于前端开发的开源工具包。它由 Twitter 的设计师 Mark Otto 和 Jacob Thornton 合作开发,是一个 CSS / HTML 框架。

    18 引用 • 33 回帖 • 642 关注
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    71 引用 • 535 回帖 • 840 关注
  • 爬虫

    网络爬虫(Spider、Crawler),是一种按照一定的规则,自动地抓取万维网信息的程序。

    106 引用 • 275 回帖 • 2 关注
  • React

    React 是 Facebook 开源的一个用于构建 UI 的 JavaScript 库。

    192 引用 • 291 回帖 • 359 关注
  • Quicker

    Quicker 您的指尖工具箱!操作更少,收获更多!

    39 引用 • 167 回帖 • 1 关注
  • SpaceVim

    SpaceVim 是一个社区驱动的模块化 vim/neovim 配置集合,以模块的方式组织管理插件以
    及相关配置,为不同的语言开发量身定制了相关的开发模块,该模块提供代码自动补全,
    语法检查、格式化、调试、REPL 等特性。用户仅需载入相关语言的模块即可得到一个开箱
    即用的 Vim-IDE。

    3 引用 • 31 回帖 • 116 关注
  • Anytype
    3 引用 • 31 回帖 • 49 关注
  • TextBundle

    TextBundle 文件格式旨在应用程序之间交换 Markdown 或 Fountain 之类的纯文本文件时,提供更无缝的用户体验。

    1 引用 • 2 回帖 • 88 关注
  • golang

    Go 语言是 Google 推出的一种全新的编程语言,可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克(Rob Pike)说:我们之所以开发 Go,是因为过去 10 多年间软件开发的难度令人沮丧。Go 是谷歌 2009 发布的第二款编程语言。

    500 引用 • 1396 回帖 • 253 关注
  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端,也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖
  • 又拍云

    又拍云是国内领先的 CDN 服务提供商,国家工信部认证通过的“可信云”,乌云众测平台认证的“安全云”,为移动时代的创业者提供新一代的 CDN 加速服务。

    20 引用 • 37 回帖 • 564 关注
  • 招聘

    哪里都缺人,哪里都不缺人。

    188 引用 • 1057 回帖 • 1 关注
  • 宕机

    宕机,多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态,也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态,也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 80 关注
  • Scala

    Scala 是一门多范式的编程语言,集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 164 关注
  • 锤子科技

    锤子科技(Smartisan)成立于 2012 年 5 月,是一家制造移动互联网终端设备的公司,公司的使命是用完美主义的工匠精神,打造用户体验一流的数码消费类产品(智能手机为主),改善人们的生活质量。

    4 引用 • 31 回帖 • 2 关注
  • 设计模式

    设计模式(Design pattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。

    201 引用 • 120 回帖
  • Docker

    Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的操作系统上。容器完全使用沙箱机制,几乎没有性能开销,可以很容易地在机器和数据中心中运行。

    498 引用 • 934 回帖
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 4 关注
  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    93 引用 • 122 回帖 • 630 关注
  • Dubbo

    Dubbo 是一个分布式服务框架,致力于提供高性能和透明化的 RPC 远程服务调用方案,是 [阿里巴巴] SOA 服务化治理方案的核心框架,每天为 2,000+ 个服务提供 3,000,000,000+ 次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点。

    60 引用 • 82 回帖 • 623 关注
  • 程序员

    程序员是从事程序开发、程序维护的专业人员。

    594 引用 • 3541 回帖
  • Vditor

    Vditor 是一款浏览器端的 Markdown 编辑器,支持所见即所得、即时渲染(类似 Typora)和分屏预览模式。它使用 TypeScript 实现,支持原生 JavaScript、Vue、React 和 Angular。

    382 引用 • 1880 回帖 • 1 关注
  • Follow
    4 引用 • 12 回帖 • 13 关注