选azkaban还是oozie?各种调度工具对比

  • Post author:
  • Post category:其他


各种调度工具对比

下面的表格对上述四种hadoop工作流调度器的关键特征进行了比较,尽管这些工作流调度器能够解决需求场景基本一致,但在设计理念,目标用户,应用场景等方面还是存在显著的区别,在技术选型时可供参考


特性


hamake


oozie


azkaban


cascading


工作流描述语言

xml

xml(xpdl、based)

text file with key/value pairs

java API


依赖机制

data-driven

explicit

explicit

explicit


是否要web容器

no

yes

yes

no


进度跟踪

console/log message

web page

web page

java API


hadoop调度支持

no

yes

yes

yes


运行模式

command line utility

daemon

daemon

api


pig支持

yes

yes

yes

yes


事件通知

no

no

no

yes


需要安装

no

yes

yes

no


支持的hadoop版本

0.18+

0.20+

currently unknown

0.18+


重试支持

no

workflow node evel

yes

yes


运行任意命令

yes

yes

yes

yes


amaon EMR支持

yes

no

currently unknow

yes



版权声明:本文为Sven119原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。