登录 注册

hive metastore 元数据字段信息

本贴最后更新于 1883 天前，其中的信息可能已经天翻地覆

  1. DBS -- 存储 Hive 中所有数据库的基本信息

    元数据表字段 说明 示例数据
    DB_ID 数据库 ID 2
    DESC 数据库描述 测试库
    DB_LOCATION_URI 数据库 HDFS 路径
    NAME 数据库名 1234
    OWNER_NAME 数据库所有者用户名 1234
    OWNER_TYPE 所有者角色 USER

  2. DATABASE_PARAMS　　--该表存储数据库的相关参数，在 CREATE DATABASE 时候用

    元数据表字段 说明 示例数据
    DB_ID 数据库 ID 2
    PARAM_KEY 参数名 createdby
    PARAM_VALUE 参数值 1234

  3. TBLS --该表中存储 Hive 表、视图、索引表的基本信息。

    元数据表字段 说明 示例数据
    TBL_ID 表 ID 1
    CREATE_TIME 创建时间 1436317071
    DB_ID 数据库 ID 2，对应 DBS 中的 DB_ID
    LAST_ACCESS_TIME 上次访问时间 1436317071
    OWNER 所有者 2222
    RETENTION 保留字段 0
    SD_ID 序列化配置信息 86，对应 SDS 表中的 SD_ID
    TBL_NAME 表名 1234
    TBL_TYPE 表类型 MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
    VIEW_EXPANDED_TEXT 视图的详细 HQL 语句 select 111.pt, 222.pcid from test.tab1
    VIEW_ORIGINAL_TEXT 视图的原始 HQL 语句 select * from ta b

  4. TABLE_PARAMS --该表存储表/视图的属性信息

    元数据表字段 说明 示例数据
    TBL_ID 表 ID 1
    PARAM_KEY 属性名 totalSize、numRows、EXTERNAL
    PARAM_VALUE 属性值 970107336、21231028、TRUE

  5. SDS --该表保存文件存储的基本信息，如 INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等

    元数据表字段 说明 示例数据
    SD_ID 存储信息 ID 1
    CD_ID 字段信息 ID 21，对应 CDS 表
    INPUT_FORMAT 文件输入格式 org.apache.hadoop.mapred.TextInputFormat
    IS_COMPRESSED 是否压缩 0
    IS_STOREDASSUBDIRECTORIES 是否以子目录存储 0
    LOCATION HDFS 路径
    NUM_BUCKETS 分桶数量 5
    OUTPUT_FORMAT 文件输出格式 org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
    SERDE_ID 序列化类 ID 3，对应 SERDES 表

  6. SD_PARAMS --该表存储 Hive 存储的属性信息，在创建表时候使用

    元数据表字段 说明 示例数据
    SD_ID 存储配置 ID 1
    PARAM_KEY 存储属性名
    PARAM_VALUE 存储属性值

  7. SERDES --该表存储序列化使用的类信息

    元数据表字段 说明 示例数据
    SERDE_ID 序列化类配置 ID 1
    NAME 序列化类别名
    SLIB 序列化类 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  8. SERDE_PARAMS --该表存储序列化的一些属性、格式信息,比如：行、列分隔符

    元数据表字段 说明 示例数据
    SERDE_ID 序列化类配置 ID 1
    PARAM_KEY 属性名 field.delim
    PARAM_VALUE 属性值 ,

  9. COLUMNS_V2 --该表存储表对应的字段信息

    元数据表字段 说明 示例数据
    CD_ID 字段信息 ID 1
    COMMENT 字段注释
    COLUMN_NAME 字段名 pt
    TYPE_NAME 字段类型 string
    INTEGER_IDX 字段顺序 2

  10. PARTITIONS -- 该表存储表分区的基本信息

    元数据表字段 说明 示例数据
    PART_ID 分区 ID 1
    CREATE_TIME 分区创建时间
    LAST_ACCESS_TIME 最后一次访问时间
    PART_NAME 分区名 pt=2015-06-12
    SD_ID 分区存储 ID 21
    TBL_ID 表 ID 2

  11. PARTITION_KEYS --该表存储分区字段值

    元数据表字段 说明 示例数据
    TBL_ID 表 ID 2
    PKEY_COMMENT 分区字段说明
    PKEY_NAME 分区字段名 pt
    PKEY_TYPE 分区字段类型 string
    INTEGER_IDX 分区字段顺序 1

  12. PARTITION_PARAMS --该表存储分区的属性信息

    元数据表字段 说明 示例数据
    PART_ID 分区 ID 2
    PARAM_KEY 分区属性名 numFiles、numRows
    PARAM_VALUE 分区属性值 15、502195

  13. PARTITION_KEY_VALS --该表存储分区字段值

    元数据表字段 说明 示例数据
    PART_ID 分区 ID 2
    PART_KEY_VAL 分区字段值 2015-06-12
    INTEGER_IDX 分区字段值顺序 0
  • Hive
    22 引用 • 7 回帖 • 1 关注
1.9k 9 647 136 195 28 15 37 840

相关帖子

回帖
hive metastore 元数据字段信息

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
wpf375516041
回帖
0
 帖子
3
 积分
570

近期热议

推荐标签 标签

  • 资讯

    资讯是用户因为及时地获得它并利用它而能够在相对短的时间内给自己带来价值的信息，资讯有时效性和地域性。

    55 引用 • 85 回帖
  • Solo

    Solo 是一款小而美的开源博客系统，专为程序员设计。Solo 有着非常活跃的社区，可将文章作为帖子推送到社区，来自社区的回帖将作为博客评论进行联动（具体细节请浏览 B3log 构思 - 分布式社区网络）。

    这是一种全新的网络社区体验，让热爱记录和分享的你不再感到孤单！

    1434 引用 • 10054 回帖 • 490 关注
  • Lute

    Lute 是一款结构化的 Markdown 引擎，支持 Go 和 JavaScript。

    25 引用 • 191 回帖 • 16 关注
  • 钉钉

    钉钉，专为中国企业打造的免费沟通协同多端平台， 阿里巴巴出品。

    15 引用 • 67 回帖 • 339 关注
  • Bug

    Bug 本意是指臭虫、缺陷、损坏、犯贫、窃听器、小虫等。现在人们把在程序中一些缺陷或问题统称为 bug（漏洞）。

    75 引用 • 1737 回帖 • 5 关注
  • IBM

    IBM（国际商业机器公司）或万国商业机器公司，简称 IBM（International Business Machines Corporation），总公司在纽约州阿蒙克市。1911 年托马斯·沃森创立于美国，是全球最大的信息技术和业务解决方案公司，拥有全球雇员 30 多万人，业务遍及 160 多个国家和地区。

    17 引用 • 53 回帖 • 136 关注
  • 微服务

    微服务架构是一种架构模式，它提倡将单一应用划分成一组小的服务。服务之间互相协调，互相配合，为用户提供最终价值。每个服务运行在独立的进程中。服务于服务之间才用轻量级的通信机制互相沟通。每个服务都围绕着具体业务构建，能够被独立的部署。

    96 引用 • 155 回帖 • 1 关注
  • 招聘

    哪里都缺人，哪里都不缺人。

    190 引用 • 1057 回帖
  • iOS

    iOS 是由苹果公司开发的移动操作系统，最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统，最初是设计给 iPhone 使用的，后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样，属于类 Unix 的商业操作系统。

    85 引用 • 139 回帖 • 1 关注
  • 博客

    记录并分享人生的经历。

    273 引用 • 2388 回帖
  • 安装

    你若安好，便是晴天。

    132 引用 • 1184 回帖
  • FlowUs

    FlowUs.息流 个人及团队的新一代生产力工具。

    让复杂的信息管理更轻松、自由、充满创意。

    1 引用 • 1 关注
  • Eclipse

    Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。

    75 引用 • 258 回帖 • 617 关注
  • 互联网

    互联网（Internet），又称网际网络，或音译因特网、英特网。互联网始于 1969 年美国的阿帕网，是网络与网络之间所串连成的庞大网络，这些网络以一组通用的协议相连，形成逻辑上的单一巨大国际网络。

    98 引用 • 344 回帖
  • 开源中国

    开源中国是目前中国最大的开源技术社区。传播开源的理念，推广开源项目，为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。

    7 引用 • 86 回帖
  • 创业

    你比 99% 的人都优秀么？

    84 引用 • 1399 回帖
  • SVN

    SVN 是 Subversion 的简称，是一个开放源代码的版本控制系统，相较于 RCS、CVS，它采用了分支管理系统，它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 680 关注
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    71 引用 • 535 回帖 • 787 关注
  • 心情

    心是产生任何想法的源泉，心本体会陷入到对自己本体不能理解的状态中，因为心能产生任何想法，不能分出对错，不能分出自己。

    59 引用 • 369 回帖
  • 新人

    让我们欢迎这对新人。哦，不好意思说错了，让我们欢迎这位新人！
    新手上路，请谨慎驾驶！

    52 引用 • 228 回帖
  • IPFS

    IPFS（InterPlanetary File System，星际文件系统）是永久的、去中心化保存和共享文件的方法，这是一种内容可寻址、版本化、点对点超媒体的分布式协议。请浏览 IPFS 入门笔记了解更多细节。

    21 引用 • 245 回帖 • 241 关注
  • jQuery

    jQuery 是一套跨浏览器的 JavaScript 库，强化 HTML 与 JavaScript 之间的操作。由 John Resig 在 2006 年 1 月的 BarCamp NYC 上释出第一个版本。全球约有 28% 的网站使用 jQuery，是非常受欢迎的 JavaScript 库。

    63 引用 • 134 回帖 • 724 关注
  • wolai

    我来 wolai：不仅仅是未来的云端笔记！

    2 引用 • 14 回帖
  • TGIF

    Thank God It's Friday! 感谢老天，总算到星期五啦！

    287 引用 • 4484 回帖 • 669 关注
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    35 引用 • 200 回帖 • 22 关注
  • 国际化

    i18n（其来源是英文单词 internationalization 的首末字符 i 和 n，18 为中间的字符数）是“国际化”的简称。对程序来说，国际化是指在不修改代码的情况下，能根据不同语言及地区显示相应的界面。

    8 引用 • 26 回帖
  • Dubbo

    Dubbo 是一个分布式服务框架，致力于提供高性能和透明化的 RPC 远程服务调用方案，是 [阿里巴巴] SOA 服务化治理方案的核心框架，每天为 2,000+ 个服务提供 3,000,000,000+ 次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点。

    60 引用 • 82 回帖 • 595 关注

最新标签