hive metastore 元数据字段信息

本贴最后更新于 2132 天前,其中的信息可能已经天翻地覆
  1. DBS -- 存储 Hive 中所有数据库的基本信息

    元数据表字段 说明 示例数据
    DB_ID 数据库 ID 2
    DESC 数据库描述 测试库
    DB_LOCATION_URI 数据库 HDFS 路径
    NAME 数据库名 1234
    OWNER_NAME 数据库所有者用户名 1234
    OWNER_TYPE 所有者角色 USER
  2. DATABASE_PARAMS  --该表存储数据库的相关参数,在 CREATE DATABASE 时候用

    元数据表字段 说明 示例数据
    DB_ID 数据库 ID 2
    PARAM_KEY 参数名 createdby
    PARAM_VALUE 参数值 1234
  3. TBLS --该表中存储 Hive 表、视图、索引表的基本信息。

    元数据表字段 说明 示例数据
    TBL_ID 表 ID 1
    CREATE_TIME 创建时间 1436317071
    DB_ID 数据库 ID 2,对应 DBS 中的 DB_ID
    LAST_ACCESS_TIME 上次访问时间 1436317071
    OWNER 所有者 2222
    RETENTION 保留字段 0
    SD_ID 序列化配置信息 86,对应 SDS 表中的 SD_ID
    TBL_NAME 表名 1234
    TBL_TYPE 表类型 MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
    VIEW_EXPANDED_TEXT 视图的详细 HQL 语句 select 111.pt, 222.pcid from test.tab1
    VIEW_ORIGINAL_TEXT 视图的原始 HQL 语句 select * from ta b
  4. TABLE_PARAMS --该表存储表/视图的属性信息

    元数据表字段 说明 示例数据
    TBL_ID 表 ID 1
    PARAM_KEY 属性名 totalSize、numRows、EXTERNAL
    PARAM_VALUE 属性值 970107336、21231028、TRUE
  5. SDS --该表保存文件存储的基本信息,如 INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等

    元数据表字段 说明 示例数据
    SD_ID 存储信息 ID 1
    CD_ID 字段信息 ID 21,对应 CDS 表
    INPUT_FORMAT 文件输入格式 org.apache.hadoop.mapred.TextInputFormat
    IS_COMPRESSED 是否压缩 0
    IS_STOREDASSUBDIRECTORIES 是否以子目录存储 0
    LOCATION HDFS 路径
    NUM_BUCKETS 分桶数量 5
    OUTPUT_FORMAT 文件输出格式 org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
    SERDE_ID 序列化类 ID 3,对应 SERDES 表
  6. SD_PARAMS --该表存储 Hive 存储的属性信息,在创建表时候使用

    元数据表字段 说明 示例数据
    SD_ID 存储配置 ID 1
    PARAM_KEY 存储属性名
    PARAM_VALUE 存储属性值
  7. SERDES --该表存储序列化使用的类信息

    元数据表字段 说明 示例数据
    SERDE_ID 序列化类配置 ID 1
    NAME 序列化类别名
    SLIB 序列化类 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  8. SERDE_PARAMS --该表存储序列化的一些属性、格式信息,比如:行、列分隔符

    元数据表字段 说明 示例数据
    SERDE_ID 序列化类配置 ID 1
    PARAM_KEY 属性名 field.delim
    PARAM_VALUE 属性值 ,
  9. COLUMNS_V2 --该表存储表对应的字段信息

    元数据表字段 说明 示例数据
    CD_ID 字段信息 ID 1
    COMMENT 字段注释
    COLUMN_NAME 字段名 pt
    TYPE_NAME 字段类型 string
    INTEGER_IDX 字段顺序 2
  10. PARTITIONS -- 该表存储表分区的基本信息

    元数据表字段 说明 示例数据
    PART_ID 分区 ID 1
    CREATE_TIME 分区创建时间
    LAST_ACCESS_TIME 最后一次访问时间
    PART_NAME 分区名 pt=2015-06-12
    SD_ID 分区存储 ID 21
    TBL_ID 表 ID 2
  11. PARTITION_KEYS --该表存储分区字段值

    元数据表字段 说明 示例数据
    TBL_ID 表 ID 2
    PKEY_COMMENT 分区字段说明
    PKEY_NAME 分区字段名 pt
    PKEY_TYPE 分区字段类型 string
    INTEGER_IDX 分区字段顺序 1
  12. PARTITION_PARAMS --该表存储分区的属性信息

    元数据表字段 说明 示例数据
    PART_ID 分区 ID 2
    PARAM_KEY 分区属性名 numFiles、numRows
    PARAM_VALUE 分区属性值 15、502195
  13. PARTITION_KEY_VALS --该表存储分区字段值

    元数据表字段 说明 示例数据
    PART_ID 分区 ID 2
    PART_KEY_VAL 分区字段值 2015-06-12
    INTEGER_IDX 分区字段值顺序 0
  • Hive
    22 引用 • 7 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • 分享

    有什么新发现就分享给大家吧!

    248 引用 • 1795 回帖
  • 代码片段

    代码片段分为 CSS 与 JS 两种代码,添加在 [设置 - 外观 - 代码片段] 中,这些代码会在思源笔记加载时自动执行,用于改善笔记的样式或功能。

    用户在该标签下分享代码片段时需在帖子标题前添加 [css] [js] 用于区分代码片段类型。

    212 引用 • 1487 回帖
  • Flume

    Flume 是一套分布式的、可靠的,可用于有效地收集、聚合和搬运大量日志数据的服务架构。

    9 引用 • 6 回帖 • 663 关注
  • 运维

    互联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。

    151 引用 • 257 回帖
  • webpack

    webpack 是一个用于前端开发的模块加载器和打包工具,它能把各种资源,例如 JS、CSS(less/sass)、图片等都作为模块来使用和处理。

    42 引用 • 130 回帖 • 253 关注
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3203 引用 • 8217 回帖 • 2 关注
  • HBase

    HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样,HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 69 关注
  • Python

    Python 是一种面向对象、直译式电脑编程语言,具有近二十年的发展历史,成熟且稳定。它包含了一组完善而且容易理解的标准库,能够轻松完成很多常见的任务。它的语法简捷和清晰,尽量使用无异义的英语单词,与其它大多数程序设计语言使用大括号不一样,它使用缩进来定义语句块。

    554 引用 • 675 回帖 • 1 关注
  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    284 引用 • 248 回帖
  • 开源

    Open Source, Open Mind, Open Sight, Open Future!

    415 引用 • 3598 回帖
  • WiFiDog

    WiFiDog 是一套开源的无线热点认证管理工具,主要功能包括:位置相关的内容递送;用户认证和授权;集中式网络监控。

    1 引用 • 7 回帖 • 611 关注
  • Quicker

    Quicker 您的指尖工具箱!操作更少,收获更多!

    37 引用 • 158 回帖
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器,详细介绍请看 将 Java Swing 应用变成 Web 应用

    1 引用 • 15 回帖 • 644 关注
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务,可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务,所以该项目也已经停止维护了!

    35 引用 • 468 回帖 • 762 关注
  • Rust

    Rust 是一门赋予每个人构建可靠且高效软件能力的语言。Rust 由 Mozilla 开发,最早发布于 2014 年 9 月。

    59 引用 • 22 回帖 • 5 关注
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 39 关注
  • Sym

    Sym 是一款用 Java 实现的现代化社区(论坛/BBS/社交网络/博客)系统平台。

    下一代的社区系统,为未来而构建

    524 引用 • 4601 回帖 • 709 关注
  • 黑曜石

    黑曜石是一款强大的知识库工具,支持本地 Markdown 文件编辑,支持双向链接和关系图。

    A second brain, for you, forever.

    26 引用 • 261 回帖 • 1 关注
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态;标准是由主流手机厂商组成的快应用联盟联合制定;快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台;以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖
  • uTools

    uTools 是一个极简、插件化、跨平台的现代桌面软件。通过自由选配丰富的插件,打造你得心应手的工具集合。

    7 引用 • 28 回帖 • 1 关注
  • 游戏

    沉迷游戏伤身,强撸灰飞烟灭。

    187 引用 • 832 回帖
  • wolai

    我来 wolai:不仅仅是未来的云端笔记!

    2 引用 • 14 回帖
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    61 引用 • 29 回帖 • 8 关注
  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端,也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖
  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    93 引用 • 122 回帖 • 613 关注
  • Eclipse

    Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。

    76 引用 • 258 回帖 • 626 关注
  • FlowUs

    FlowUs.息流 个人及团队的新一代生产力工具。

    让复杂的信息管理更轻松、自由、充满创意。

    1 引用