Azkaban安装及配置

1）将azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz上传到hadoop102的/opt/software路径
2）新建/opt/module/azkaban目录，并将所有tar包解压到这个目录下
3）解压azkaban-db-3.84.4.tar.gz、 azkaban-exec-server-3.84.4.tar.gz和azkaban-web-server-3.84.4.tar.gz到/opt/module/azkaban目录下
4）进入到/opt/module/azkaban目录，依次修改名称

2

.1.2

配置MySQL

1）登陆MySQL，创建Azkaban数据库

2）创建azkaban用户并赋予权限，设置密码有效长度4位及以上

mysql> set global validate_password_length=4;

3）设置密码策略最低级别

mysql> set global validate_password_policy=0;

4）创建Azkaban用户，任何主机都可以访问Azkaban，密码是000000

mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '000000';

5）赋予Azkaban用户增删改查权限

mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' 
WITH GRANT OPTION;

6）创建Azkaban表，完成后退出MySQL

7）更改MySQL包大小；防止Azkaban连接MySQL阻塞

[atguigu@hadoop102 software]$ sudo vim /etc/my.cnf

在[mysqld]下面加一行max_allowed_packet=1024M
[mysqld]
max_allowed_packet=1024M

8）重启MySQL

2

.1.3

配置

Executor Server

Azkaban Executor Server处理工作流和作业的实际执行。

1）编辑azkaban.properties

[axing@hadoop102 azkaban]$ vim 
/opt/module/azkaban/azkaban-exec/conf/azkaban.properties

修改如下属性：


#...
default.timezone.id=Asia/Shanghai
#...
azkaban.webserver.url=http://hadoop102:8081

executor.port=12321
#...
database.type=mysql
mysql.port=3306
mysql.host=hadoop102
mysql.database=azkaban
mysql.user=azkaban
mysql.password=000000
mysql.numconnections=100

2）同步azkaban-exec到所有节点

3）

必须进入到/

opt/module/azkaban/azkaban-exec

路径

，分别在三台机器上，启动executor server

[axing@hadoop102 azkaban-exec]$ bin/start-exec.sh
[axing@hadoop103 azkaban-exec]$ bin/start-exec.sh
[axing@hadoop104 azkaban-exec]$ bin/start-exec.sh

注意

：如果在/opt/module/azkaban/azkaban-exec目录下出现executor.port文件，说明启动成功

如果三台机器都出现如下提示，则表示激活成功

{"status":"success"}

2

.1.4

配置

Web Server

Azkaban Web Server处理项目管理，身份验证，计划和执行触发。

1）编辑azkaban.properties

[axing@hadoop102 azkaban]$ vim 
/opt/module/azkaban/azkaban-web/conf/azkaban.properties

修改如下属性

...
default.timezone.id=Asia/Shanghai
...
database.type=mysql
mysql.port=3306
mysql.host=hadoop102
mysql.database=azkaban
mysql.user=azkaban
mysql.password=000000
mysql.numconnections=100
...
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

说明：

#StaticRemainingFlowSize

：正在排队的任务数；

#CpuStatus

：CPU占用情况

#MinimumFreeMemory

：内存占用情况。测试环境，

必须将

MinimumFreeMemory

删除掉，否则它会认为集群资源不够，不执行。(在实际生产环境中不用删除)

2）修改azkaban-users.xml文件，添加atguigu用户

[atguigu@hadoop102 azkaban-web]$ vim 
/opt/module/azkaban/azkaban-web/conf/azkaban-users.xml

<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>
  <user password="atguigu" roles="admin" username="atguigu"/>
  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
</azkaban-users>

3）必须进入到hadoop102的/opt/module/azkaban/azkaban-web路径，启动web server

[axing@hadoop102 azkaban-web]$ bin/start-web.sh

4）访问

http://hadoop102:8081

,并用atguigu用户登陆

这样，azkaban就配置完了。

原文链接：https://blog.csdn.net/JiaXingNashishua/article/details/126296614

一： A zkaban概论

1 .1 为什么需要工作流调度系统

1 .2 常见工作流调度系统

1.3 Azkaban与Oozie对比

二：Az kaban 入门

2 .1 集群模式 安装

2 .1.1 上传tar包

2 .1.2 配置MySQL

2 .1.3 配置 Executor Server

2 .1.4 配置 Web Server

你可能也喜欢

一：

A

zkaban概论

1

.1

为什么需要工作流调度系统

1

.2

常见工作流调度系统

1.3

Azkaban与Oozie对比

二：Az

kaban

入门

2

.1 集群模式

安装

2

.1.1

上传tar包

2

.1.2

配置MySQL

2

.1.3

配置

Executor Server

2

.1.4

配置

Web Server