HBase 环境部署

本贴最后更新于 1698 天前,其中的信息可能已经事过景迁

1.本次部署采用的是hbase0.98这个版本,0.98对于hadoop 2.2.0以后进行非常好的兼容和支持(测试过的),对于0.98版本来说 ,JDK版本选择7

2.在搭建之前先把Hadoop和ZK的进程启动

    1)启动zk:  # bin/zkServer.sh start  

    2)启动hdfs:

            启动namenode节点

            # sbin/hadoop-daemon.sh start namenode

            启动datanode节点

            # sbin/hadoop-daemon.sh start namenode

    3)jps查看是否启动成功

        5591 DataNode
        5507 NameNode
        5724 Jps
        5682 QuorumPeerMain

        显示如上,启动成功

3.修改hbase配置文件

    1)修改conf目录下的hbase-env.sh文件

        1)指定Java的安装路径:

            export JAVA_HOME=/opt/modules/jdk1.7.0_67

        2)hbase自带了ZK以及相关jar包,如果要使用自己的ZK,就要将这个值改为false:

            export HBASE_MANAGES_ZK=false

    2)修改hbase-site.xml文件     


    <configuration>
        <!--指定tmp临时目录-->
	    <property >
	    	<name>hbase.tmp.dir</name>
	    	<value>/opt/modules/hbase-0.98.6-hadoop2/data/tmp</value>
	    </property>
	    <!--指定一个HDFS的路径,存储hbase表的数据文件-->
	    <property>
	    	<name>hbase.rootdir</name>
	    	<value>hdfs://hadoop1.paniuzhan.com:8020/hbase</value>
	    </property>
    
	    <!--指定hbase的分布式模式,伪分布式同样也是分布式,需要改为true-->
	    <property >
	    	<name>hbase.cluster.distributed</name>
	    	<value>true</value>
	    </property>
    
	    <!--指定ZK的机器所在位置-->
	    <property>
	    	<name>hbase.zookeeper.quorum</name>
	    	<value>hadoop1.paniuzhan.com</value>
	    </property>

    </configuration>

    3)修改regionservers文件,添加从节点的机器
        hadoop1.paniuzhan.com
    4)在启动hbase之前需要替换jar包,解决多个框架之间的版本兼容问题,本次使用的hadoop是2.5.0版本,替换hbase中lib目录下下hadoop相关jiar包为2.5.0版本jar.
    5)启动hbase的守护进程
        $ bin/hbase-daemon.sh start master
        $ bin/hbase-daemon.sh start regionserver
        jps查看多有两个Java进程
        5968 HRegionServer
        5682 QuorumPeerMain
    6)通过浏览器可以访问hbase的外部管理界面,交互端口号:60010
    至此,HBase环境搭建完成。

 
  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    83 引用 • 112 回帖
  • HBase

    HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样,HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 7 关注

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...