博客

总体优点：文件小，加载数据量变少

第一部分：只用Parque格式存储数据

• 创建表，使用列式存储Parquet格式存储数据
• 导入的数据文件格式：必须是Parquet格式

CREATE TABLE db_yhd.track_log_parquet(
id              STRING,
url             STRING,
......
linkPosition    STRING,
buttonPosition  STRING
)
PARTITIONED BY (date_str STRING ,hour_str STRING )
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
LINES TERMINATED BY '\n'
STORED AS PARQUET;

注：与非parquet表创表区别在最后一行

• 加载数据到链式存储的分区表中

INSERT INTO TABLE track_log_parquet 
PARTITION ( date_str="20150828" , hour_str="18" ) 
select
    id,url,referer,keyword,type,guid,pageId,moduleId,linkId,attachedInfo,sessionId,trackerU,trackerType,ip,trackerSrc,cookie,orderCode,trackTime,endUserId,firstLink,sessionViewNo,productId,curMerchantId,provinceId,cityId,fee,edmActivity,edmEmail,edmJobId,ieVersion,platform,internalKeyw