HBase 表名及设计规则

  • Post author:
  • Post category:其他


1.表名设计

表名设计规则一般为:汇总层标识+数据域+主维度+时间维度

例如:dws_trd_slr_dtr,表示汇总层交易数据,根据卖家(slr)主维度+0点截止当日(dtr)进行统计汇总。

这样做的好处是,所有主维度相同的数据都放在一张物理表中,避免表数量过多,难以维护。另外,可以从表名上直观地看到存储的是什么数据内容,方便排查问题。

2.rowkey设计

设计规则:MD5+主维度+维度标识+子维度1+时间维度+子维度2

例如:卖家ID的MD5前四位+卖家ID+app+一级类目ID+d d d+二级类目ID。

以MD5前四位作为rowkey的第一部分,可以把数据散列,让服务器整体负载是均衡的,避免热点问题。在上面的例子中,卖家ID属于主维度,在查数据时是必传的。每个统计维度都会生成一个维度标识,以便在rowkey上做分区。



版权声明:本文为sujins5288原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。