flink部署

前置准备

：

1.CentOS7.5

2.java8

3.配置三台机器时间同步和免密登陆，关闭防火墙

下载链接：https://flink.apache.org/zh/downloads.html#section-7

这里我选择的是1.13.0：https://archive.apache.org/dist/flink/flink-1.13.0/

组件：

Flink中有几个关键性组件：客户端、调度中心(JobManager)、任务管理器(TaskManager)

我们通过客户端解析任务、然后提交到调度中心，调度中心分配任务到不同的工作节点运行。

单机模式

上传flink-1.13.0-bin-scala_2.12.tgz到/opt/software

解压（没有目录的话自行创建）

tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/
cd /opt/module/
mv flink-1.13.0 flink

启动

cd /opt/module/flink/bin
./start-cluster.sh

通过jps查看进程,包含StandaloneSessionClusterEntrypoint和TaskManagerRunner代表成功

10369 StandaloneSessionClusterEntrypoint
10680 TaskManagerRunner

flink提供了一个web页面，访问master:8081即可看到(要hosts文件配置了master对应的ip地址)

关闭集群

cd /opt/module/flink/bin
./stop-cluster.sh

会话模式(集群部署)

上传flink-1.13.0-bin-scala_2.12.tgz到/opt/software

master上解压（没有目录的话自行创建）

tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/
cd /opt/module/
mv flink-1.13.0 flink

修改配置,设置jobmanager

cd /opt/module/flink/conf
vim flink-conf.yaml

设置TaskManager 节点

 vim workers

修改为

slave1
slave2

分发到slave1、slave2

scp -r /opt/module/flink/ root@slave1:/opt/module
scp -r /opt/module/flink/ root@slave2:/opt/module

只要在master启动

cd /opt/module/flink/bin
./start-cluster.sh

flink提供了一个web页面，访问master:8081即可看到(要hosts文件配置了master对应的ip地址)

yarn模式(推荐)

首先要确保有hadoop集群

下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

选择hadoop-3.1.3.tar.gz下载

上传至master节点

首先进行解压，然后分发到slave1和slave2，分别登陆到slave1，和slave2完成解压

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
scp hadoop-3.1.3.tar.gz root@slave1:/opt/software
scp hadoop-3.1.3.tar.gz root@slave2:/opt/software

配置环境变量

vim /root/.bash_profile

HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

重开shell窗口，查看hadoop版本

hadoop version

核心配置文件

cd /opt/module/hadoop-3.1.3/etc/hadoop/
vim core-site.xml

<!-- namenode地址端口-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020</value>
</property>
<!-- 数据存储目录-->
<property>
    <name>hadoop.data.dir</name>
    <value>/opt/module/hadoop-3.1.3/data</value>
</property>
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

HDFS配置文件

vim hdfs-site.xml

<!-- nn web端访问地址-->
<property>
  <name>dfs.namenode.http-address</name>
  <value>master:9870</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file://${hadoop.data.dir}/name</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file://${hadoop.data.dir}/data</value>
</property>
<!--主节点的元数据备份地址-->
<property>
  <name>dfs.namenode.checkpoint.dir</name>
  <value>file://${hadoop.data.dir}/namesecondary</value>
</property>
  <property>
  <name>dfs.client.datanode-restart.timeout</name>
  <value>30</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>slave2:9868</value>
</property>

YARN配置文件

vim yarn-site.xml

<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
  <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>slave1</value>
    </property>
  <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
  <!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <!-- 关闭yarn对虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

修改mapred-site.xml

vim mapred-site.xml

	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

配置hadoop. jdk环境,不知道jdk在哪的可以echo $JAVA_HOME查看

vim /opt/module/hadoop-3.1.3/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212

配置workers(不要有多余的空格)

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

master
slave1
slave2

在启动之前需要修改一下启动文件，修改start-dfs.sh和stop-dfs.sh，在文件最开始加入下面四行

vim /opt/module/hadoop-3.1.3/sbin/start-dfs.sh
vim /opt/module/hadoop-3.1.3/sbin/stop-dfs.sh

HDFS_DATANODE_USER=root 
HADOOP_SECURE_DN_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root 

修改start-dfs.sh和stop-dfs.sh，在文件最开始加入下面四行

vim /opt/module/hadoop-3.1.3/sbin/start-yarn.sh
vim /opt/module/hadoop-3.1.3/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

同步sbin目录(启动命令)，和etc/hadoop/目录下（配置文件）,如果复制有问题自己手打

cd /opt/module/hadoop-3.1.3/etc/
scp -r hadoop/ root@slave1:/opt/module/hadoop-3.1.3/etc/ 
scp -r hadoop/ root@slave2:/opt/module/hadoop-3.1.3/etc/ 
cd /opt/module/hadoop-3.1.3 
scp -r sbin/ root@slave1:/opt/module/hadoop-3.1.3/ 
scp -r sbin/ root@slave2:/opt/module/hadoop-3.1.3/ 

如果集群是第一次启动，需要在master节点格式化NameNode

cd /opt/module/hadoop-3.1.3/
bin/hdfs namenode -format

在master上执行

cd /opt/module/hadoop-3.1.3/
sbin/start-dfs.sh

在slave1上执行

cd /opt/module/hadoop-3.1.3/
sbin/start-yarn.sh

部署flink

解压flink，修改文件夹为flink-1.13.0-yarn

tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/
cd /opt/module
mv flink-1.13.0 flink-1.13.0-yarn

修改配置

vim flink-conf.yaml

jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 8
parallelism.default: 1

启动，首先要保证hadoop集群启动成功

cd /opt/module/flink-1.13.0-yarn
bin/yarn-session.sh -nm test

可以访问地址，看到客户端

最后说一句，尚硅谷yyds


https://www.bilibili.com/video/BV133411s7Sa?p=24&spm_id_from=pageDriver