博客

一、元数据表描述

mysql元数据库hive中的表：

这里补充介绍hive的一个工具脚本metatool。如果需要大量修改元数据库中的相关记录，可以具体查看metatool脚本的使用方法。

比如说，对一个HDFS做HA的时候，如果之前hdfs完整路径是hdfs://m000，做完HA之后把dfs.nameservices设置为my-cluster之后，hdfs的访问路径就变成了hdfs://my-cluster，此时就需要对hive元数据库中所有记录作更新，这时可以参考下面的操作，

使用metatool脚本，先是新路径，然后是旧路径

/usr/local/bigdata/hive/bin/metatool -updateLocation hdfs://my-cluster hdfs://m000

二、


重要


元数据表具体相关字段

2.


1




存储


Hive


版本的元数据表（


VERSION


）

如果该表出现问题，根本进入不了Hive-Cli。比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。

2.


2




Hive


数据库相关的元数据表（


DBS


、


DATABASE_PARAMS


）

DBS

该表存储Hive中所有数据库的基本信息，字段如下：

DATABASE_PARAMS

该表存储数据库的相关参数，在CREATE DATABASE时候用

WITH DBPROPERTIES (property_name=property_value, …)指定的参数。

DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。

2.


3




Hive


表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

TBLS

该表中存储Hive表、视图、索引表的基本信息。

TABLE_PARAMS

该表存储表/视图的属性信息。

• TBL_PRIVS

该表存储表/视图的授权信息

2.


4




Hive


文件存储信息相关的元数据表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS

由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

SDS

该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。

TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。

SD_PARAMS

该表存储Hive存储的属性信息，在创建表时候使用

STORED BY ‘

storage.handler.class.name

’ [WITH SERDEPROPERTIES (…)指定。

SERDES

该表存储序列化使用的类信息

SERDE_PARAMS

该表存储序列化的一些属性、格式信息,比如：行、列分隔符

2.


5




Hive


表字段相关的元数据表

主要涉及COLUMNS_V2

COLUMNS_V2

该表存储表对应的字段信息。

2.


6




Hive


表分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

PARTITIONS

该表存储表分区的基本信息。

PARTITION_KEYS

该表存储分区的字段信息。

PARTITION_KEY_VALS

该表存储分区字段值。

PARTITION_PARAMS

该表存储分区的属性信息。

三、对元数据的相关查询

3.1




查询某表的分区

在Spark-sql查询hive表时，会由于元数据中文件与hdfs文件不一致而出现TreeNodeException的异常。比如说，在hive 中show partitions时有分区pt=20160601，但是对应HDFS路径下并没有这个子文件夹时，在Spark-sql中就会出现该异 常。这时如果需要查询某表的分区，就可以使用如下语句

SELECT p.* from PARTITIONS p

JOIN TBLS t

ON t.TBL_ID=p.TBL_ID

WHERE t.TBL_NAME=’table’

AND PART_NAME like ‘%pt=20160601%’;

123456

3.2




查询指定库中


stored as textfile


类型的所有表名

select

d.NAME,

t.TBL_NAME,

s.INPUT_FORMAT,

s.OUTPUT_FORMAT

from TBLS t

join DBS d

join SDS s

where t.DB_ID = d.DB_ID

and t.SD_ID = s.SD_ID

and d.NAME=’test’

and s.INPUT_FORMAT like ‘%TextInputFormat%’;123456789101112

3.3




查询指定库中的分区表

select

db.NAME,

tb.TBL_NAME,

pk.PKEY_NAME

from TBLS tb

join DBS db

join PARTITION_KEYS pk

where tb.DB_ID = db.DB_ID

and tb.TBL_ID=pk.TBL_ID

and db.NAME=’test’;12345678910

3.4




查询指定库的非分区表

select

db.NAME,

tb.TBL_NAME

from TBLS tb

join DBS db

where tb.DB_ID = db.DB_ID

and db.NAME=’test’

and tb.TBL_ID not in (

select distinct TBL_ID from PARTITION_KEYS

) ;12345678910

3.5




查询指定库中某种存储类型的分区表

select

db.NAME,

tb.TBL_NAME,

pk.PKEY_NAME,

s.INPUT_FORMAT,

s.OUTPUT_FORMAT

from TBLS tb

join DBS db

join PARTITION_KEYS pk

join SDS s

where tb.DB_ID = db.DB_ID

and tb.TBL_ID=pk.TBL_ID

and tb.SD_ID = s.SD_ID

and db.NAME=’test’

and s.INPUT_FORMAT like ‘%TextInputFormat%’;123456789101112131415

3.6




查询指定库中某种存储类型的非分区表

select

db.NAME,

tb.TBL_NAME,

s.INPUT_FORMAT,

s.OUTPUT_FORMAT

from TBLS tb

join DBS db

join SDS s

where tb.DB_ID = db.DB_ID

and tb.SD_ID = s.SD_ID

and db.NAME=’test’

and s.INPUT_FORMAT like ‘%TextInputFormat%’

and tb.TBL_ID not in (select distinct TBL_ID from PARTITION_KEYS);