浅谈HIVE数据存储格式使用STORED AS ORC 格式

  • Post author:
  • Post category:其他


 1.在压缩存储时间上,除Sequencefile外基本都相差无几。

 2.数据压缩比例上ORC最优,相比textfile节省了50倍磁盘空间,parquet压缩性能也较好。

 3.SQL查询速度而言,ORC与parquet性能较好,远超其余存储格式。

 综合上述各种性能指标,建议工作中原始日志写入hive的存储格式都采用ORC或者parquet格式,这和目前主流的做法一致。



版权声明:本文为zhuzhen123zhuzhen原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。