azkaban执行各种job任务

  • Post author:
  • Post category:其他


一:Azkaban执行各种job任务


所有的job文件打成zip的压缩包,注意:不能是rar压缩


所有job文件可以通过Noteped++编辑该文件,注意设置Job文件的格式编码


1)azkaban的job操作普通linux语句

type=command

command=echo ‘hello world’


2)azkaban的job操作shell脚本及脚本参数传递

type=command

command=sh /home/dove/get_data.sh ” ‘aaa,bbb,ccc’


3)azkaban多个job依赖执行

第一个job文件foo.job:

type=command

command=echo ‘foo’

第二个job文件依赖第一个foo.job:

type=command

dependencies=foo

command=echo ‘bar’


4)azkaban的job操作HDFS文件系统

type=command

command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azkaban


5)azkaban的job操作MapReduce,注意这里的jar需要是相对路径,需要和job文件打成一个压缩包。

type=command

command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 3 5


6)azkaban的job操作Hive脚本,注意的hive脚本hive.sql需要和job文件打成一个压缩包。

type=command

command=/export/servers/hive-1.1.0-cdh5.14.0/bin/hive -f ‘hive.sql’

二:azkaban运行Job

上传压缩包:

创建好项目后,点击Execute Flow执行项目

立即执行和定时时间设置:



版权声明:本文为qq_15076569原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。