博客

Hive 分区介绍：

hive中简单介绍分区表(partition table)，含动态分区(dynamic partition)与静态分区(static partition)

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。

分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。

分区改变了HIVE 对数据存储的组织方式，hive 会创建反应分区结构的子目录，就是那些实际的目录名称。

对数据进行分区，最主要的原因就是为了更快的查询。

可以通过，show partitions 表名  查看表中存在的所有分区，

或者

describe extended  表名

desc 表名

动态分区：

当需要创建非常多的分区的时候，Hive提供了动态分区的功能：

可以基于查询的参数，推断出需要创建分区的名称。

INSERT OVERWRITE TABLE emp PARTITION (country, state)  SELECT ..., ... , se.cnty, se.st

FROM staged_emp se;

 

需要注意，字段值和分区之间的关系是根据位置而不是字段名称来进行匹配的。

动态分区也可以和静态分区混合使用，但是静态分区必须出现在动态分区之前。

举例：使用动态分区要先设置hive.exec.dynamic.partition参数值为true，默认值为false；

动态分区的使用方法很简单，假设我想向stat_date=’20110728’这个分区下面插入数据，至于province插入到哪个子分区下面让数据库自己来判断，那可以这样写：

insert overwrite table partition_test partition(stat_date='20110728',province)

select member_id,name,province from partition_test_input where stat_date='20110728';

stat_date叫做静态分区列，province叫做动态分区列。

s

elect子句中需要把动态分区列按照分区的顺序写出来，静态分区列不用写出来。这样stat_date=’20110728’的所有数据，会根据province的不同分别插入到/user/hive/warehouse/partition_test/stat_date=20110728/下面的不同的子文件夹下，如果源数据对应的province子分区不存在，则会自动创建，非常方便，

而且避免了人工控制插入数据与分区的映射关系存在的潜在风险。

注意，动态分区不允许主分区采用动态列而副分区采用静态列，这样将导致所有的主分区都要创建副分区静态列所定义的分区：

insert overwrite table partition_test partition(stat_date,province='liaoning')

select member_id,name,province from partition_test_input where province='liaoning';

FAILED: SemanticException [Error 10094]: Line 1:49 Dynamic partition cannot be the parent of a static partition ”liaoning”

问题：一般是建表的时候，分区表的顺序出现了问题，静态分区一定要再动态分区的前面。

动态分区可以允许所有的分区列都是动态分区列，但是要首先设置一个参数hive.exec.dynamic.partition.mode ：

set hive.exec.dynamic.partition.mode;
hive.exec.dynamic.partition.mode=strict