【CDH6】Hue 的安装及使用

本贴最后更新于 1491 天前,其中的信息可能已经斗转星移

Hue 的安装

HUE 是一个开源的 Apache Hadoop UI 系统,早期由 Cloudera 开发,它是基于 Python Web 框架 Django 实现,后来贡献给开源社区。它包括 3 个部分 hue ui,hue server,hue db。通过使用 Hue 我们可以通过浏览器方式操纵 Hadoop 集群,查看修改 hdfs 的文件,管理 hive 的元数据,运行 Sqoop,编写 Oozie 工作流等大量工作。Hue 的安装可以依赖 hive 和 oozie,所以这里先安装了 Hive 和 oozie。

  1. 选择集群,添加服务:
    image20201218155913421.png

  2. 添加服务向导:
    选择“hue”服务,点击“继续”:
    image20201218160115136.png
    选择依赖,点击“继续”:
    image20201218160432737.png
    角色按照默认配置即可,点击“继续”,完成 hue 的安装
    image20201218160610471.png
    当点击“继续”后,需要给 hue 配置数据库,需要在 cm-s1 节点上连接 mysql,执行创建数据库及分配权限语句:

    [root@cm-s1 ~]# mysql -hcm-s1 -pAz123456_ -e "create database hue DEFAULT CHARACTER SET utf8;grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'Az123456_';flush privileges;"

    在弹出的页面中选择数据库,填写用户名及密码,点击“测试连接”,测试数据库连接成功后,点击“继续”:
    image20201218160957019.png
    等待服务向导完成,点击“继续” -> “完成”,完成 hue 安装
    image20201218161138627.png

Hue 的使用

以上将 hue 安装在 cm-s1 节点上,这里登陆 hue 时,地址为:http://cm-s1:8889,首次登陆 hue 需要登陆 hue 的账号密码,这里输入 user:myhue,password:myhue。最好这里使用 hdfs 用户。因为 hdfs 用户可以操作 hdfs 中的文件,如果使用其他用户只能在当前用户的目录下创建文件。

image20201218215243709.png

  1. hue 创建用户
    点击“管理用户”->“添加用户”可以创建用户,并且可以指定权限,是否在 HDFS 中创建主目录等。
    image20201219131700865.png
    image20201219131819888.png

  2. hue 操作 HDFS 文件
    可以创建新的文件,也可以修改,最好 HDFS 中大文件不要在 hue 中操作。hue 中的用户默认是进入当前用户的主目录进行操作。
    image20201219141624972.png
    image20201219143330314.png
    点击以上“文件”进入到 HDFS 文件系统,进行创建上传文件夹或者文件,还可以对文件进行编辑。
    image20201219145914777.png

  3. Hue 操作 hive 中的数据
    登录 hue 之后,点击“查询” -> “编辑器” -> “Hive”,编写 SQL 创建 Hive 表:
    image20201219144759105.png
    创建完成后,点击 hive 数据库刷新,可以看到刚才创建的 Hive 表,创建表完成之后,可以右键表找到“在浏览器中打开”,可以查询、导入、删除表等操作,导入数据时选择的数据可以是 HDFS 中也可以是本地中的文件数据:
    image20201219151004538.png
    点击“提交”将 HDFS 中文件数据导入到表中。点击“查询”查询表中的数据,如下:
    image20201219151314668.png
    在 Hive SQL 面板中还可以查询数据,在查询编辑器中执行查询 sql 语句:
    image20201219151742409.png
    执行 sql 语句之后,hql 转换成 MR 作业,可以点击“作业”查看任务:
    image20201219152515160.png

  4. Hue 添加 RDBMS 数据库
    hue 也支持 RDBMS 关系数据库的展示及操作。启动 Cloudera Manager 登录 Hue 之后,在配置中搜索“hue_safety_valve.ini”配置项,配置如下内容,保存更改:

    [librdbms] [[databases]] [[[mysql]]] nice_name="all mysql databases" engine=mysql host=cm-s1 port=3306 user=root password=Az123456_ options={ "init_command":"SET NAMES 'utf8'"} [notebook] [[interpreters]] [[[hive]]] name=Hive [[[mysql]]] name=Mysql interface=rdbms [[[java]]] name=Java interface=oozie [[[spark2]]] name=Spark interface=oozie [[[shell]]] name=Shell interface=oozie [[[sqoop1]]] name=Sqoop1 interface=oozie [[[distcp]]] name=Distcp interface=oozie

    image20201219153219089.png
    以上参数中,nice_name 指定在 hue 中显示的连接名称。name 指定连接的 mysql 数据库名称,不指定这个参数,将默认显示全部的数据库。engine 指定 mysql 数据库类型。host 指定数据库地址。port 指定数据库端口号。user 指定连接用户名。password 指定密码。options 中指定的“init_command”指定数据库编码为 utf8,防止有中文时乱码。
    此外,在配置“[notebook]”时,可以只需要配置 Hive 与 Mysql 即可。以上配置完成之后,重启 hue。重新进入 hue webui 中,点击“查询”->“编辑器”,可以看到“MySQL”标签,点击在主页右侧“SQL”中也会出现对应的 MySQL 中的数据库及表信息。
    image20201219153717122.png

  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    93 引用 • 113 回帖
  • CDH
    7 引用 • 2 回帖
  • HUE
    1 引用 • 1 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
k8s
59774 号黑客成员, 2020-05-16 加入 天津

推荐标签 标签

  • Ubuntu

    Ubuntu(友帮拓、优般图、乌班图)是一个以桌面应用为主的 Linux 操作系统,其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词,意思是“人性”、“我的存在是因为大家的存在”,是非洲传统的一种价值观,类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    127 引用 • 169 回帖 • 1 关注
  • 强迫症

    强迫症(OCD)属于焦虑障碍的一种类型,是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病,其特点为有意识的强迫和反强迫并存,一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖 • 1 关注
  • MySQL

    MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司。MySQL 是最流行的关系型数据库管理系统之一。

    692 引用 • 535 回帖 • 1 关注
  • JSON

    JSON (JavaScript Object Notation)是一种轻量级的数据交换格式。易于人类阅读和编写。同时也易于机器解析和生成。

    52 引用 • 190 回帖 • 1 关注
  • RESTful

    一种软件架构设计风格而不是标准,提供了一组设计原则和约束条件,主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。

    30 引用 • 114 回帖
  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1063 引用 • 3454 回帖 • 189 关注
  • Mac

    Mac 是苹果公司自 1984 年起以“Macintosh”开始开发的个人消费型计算机,如:iMac、Mac mini、Macbook Air、Macbook Pro、Macbook、Mac Pro 等计算机。

    166 引用 • 595 回帖
  • CSS

    CSS(Cascading Style Sheet)“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    197 引用 • 541 回帖
  • 负能量

    上帝为你关上了一扇门,然后就去睡觉了....努力不一定能成功,但不努力一定很轻松 (° ー °〃)

    88 引用 • 1235 回帖 • 402 关注
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态;标准是由主流手机厂商组成的快应用联盟联合制定;快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台;以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖 • 2 关注
  • 国际化

    i18n(其来源是英文单词 internationalization 的首末字符 i 和 n,18 为中间的字符数)是“国际化”的简称。对程序来说,国际化是指在不修改代码的情况下,能根据不同语言及地区显示相应的界面。

    8 引用 • 26 回帖
  • 宕机

    宕机,多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态,也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态,也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 62 关注
  • 新人

    让我们欢迎这对新人。哦,不好意思说错了,让我们欢迎这位新人!
    新手上路,请谨慎驾驶!

    52 引用 • 228 回帖 • 1 关注
  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

    117 引用 • 99 回帖 • 211 关注
  • 印象笔记
    3 引用 • 16 回帖
  • Love2D

    Love2D 是一个开源的, 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 541 关注
  • Bootstrap

    Bootstrap 是 Twitter 推出的一个用于前端开发的开源工具包。它由 Twitter 的设计师 Mark Otto 和 Jacob Thornton 合作开发,是一个 CSS / HTML 框架。

    18 引用 • 33 回帖 • 665 关注
  • GraphQL

    GraphQL 是一个用于 API 的查询语言,是一个使用基于类型系统来执行查询的服务端运行时(类型系统由你的数据定义)。GraphQL 并没有和任何特定数据库或者存储引擎绑定,而是依靠你现有的代码和数据支撑。

    4 引用 • 3 回帖 • 9 关注
  • Spring

    Spring 是一个开源框架,是于 2003 年兴起的一个轻量级的 Java 开发框架,由 Rod Johnson 在其著作《Expert One-On-One J2EE Development and Design》中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。框架的主要优势之一就是其分层架构,分层架构允许使用者选择使用哪一个组件,同时为 JavaEE 应用程序开发提供集成的框架。

    943 引用 • 1460 回帖 • 1 关注
  • 反馈

    Communication channel for makers and users.

    124 引用 • 916 回帖 • 257 关注
  • Gitea

    Gitea 是一个开源社区驱动的轻量级代码托管解决方案,后端采用 Go 编写,采用 MIT 许可证。

    4 引用 • 16 回帖
  • 工具

    子曰:“工欲善其事,必先利其器。”

    290 引用 • 735 回帖
  • 导航

    各种网址链接、内容导航。

    42 引用 • 175 回帖
  • Lute

    Lute 是一款结构化的 Markdown 引擎,支持 Go 和 JavaScript。

    26 引用 • 196 回帖 • 20 关注
  • NetBeans

    NetBeans 是一个始于 1997 年的 Xelfi 计划,本身是捷克布拉格查理大学的数学及物理学院的学生计划。此计划延伸而成立了一家公司进而发展这个商用版本的 NetBeans IDE,直到 1999 年 Sun 买下此公司。Sun 于次年(2000 年)六月将 NetBeans IDE 开源,直到现在 NetBeans 的社群依然持续增长。

    78 引用 • 102 回帖 • 693 关注
  • Vim

    Vim 是类 UNIX 系统文本编辑器 Vi 的加强版本,加入了更多特性来帮助编辑源代码。Vim 的部分增强功能包括文件比较(vimdiff)、语法高亮、全面的帮助系统、本地脚本(Vimscript)和便于选择的可视化模式。

    29 引用 • 66 回帖
  • PWA

    PWA(Progressive Web App)是 Google 在 2015 年提出、2016 年 6 月开始推广的项目。它结合了一系列现代 Web 技术,在网页应用中实现和原生应用相近的用户体验。

    14 引用 • 69 回帖 • 161 关注