HiveSQL查询转换成MapReduce作业的过程

  • Post author:
  • Post category:其他



1,Antlr定义SQL的语法规则,完成SQL词法,语法解析,将SQL转化为抽象语法树AST Tree

2,遍历AST Tree,抽象出查询的基本组成单元QueryBlock

3,遍历QueryBlock,翻译为执行操作树OperatorTree

4,逻辑层优化器进行OperatorTree变换,合并不必要的ReduceSinkOperator,减少shuffle数据量

5,遍历OperatorTree,翻译为MapReduce任务

6,物理层优化器进行MapReduce任务的变换,生成最终的执行计划



版权声明:本文为qq_41982570原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。