hadoop的高可用HA集群搭建（详细）

准备工作及zookeeper集群搭建
进行hadoop配置基本文件
- hadoop 环境变量配置
- 格式化hdfs
脚本文件
启动及运行等服务命令
去网页查看效果
- 查看namenode
- 查看resourcemanager

本文以两台namenode(c01,c02)及两台resourcemanager(c03,c04)为例：

准备工作及zookeeper集群搭建

这些步骤

点击此处

去详细了解并配置

进行hadoop配置基本文件

需要配置如下文件：

hadoop-env.sh

mapred-env.sh

yarn-env.sh

slaves

mapred-site.xml

hadoop-env.sh

[root@c01 hadoop]# vi hadoop-env.sh 

export JAVA_HOME=/opt/bigdata/jdk180

mapred-env.sh

[root@c01 hadoop]# vi mapred-env.sh 

export JAVA_HOME=/opt/bigdata/jdk180

yarn-env.sh

[root@c01 hadoop]# vi yarn-env.sh 

export JAVA_HOME=/opt/bigdata/jdk180

slaves

[root@c01 hadoop]# vi ./slaves 

c01
c02
c03
c04

mapred-site.xml

[root@c01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@c01 hadoop]# vi mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>c01:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>c01:19888</value>
</property>
</configuration>

core-site.xml

[root@c01 hadoop]# vi ./core-site.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<!-- hadoop运行时存储路径 -->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/bigdata/hadoop260/hadoopdata</value>
</property>
<property>
   <name>dfs.journalnode.edits.dir</name>
   <value>/opt/bigdata/hadoop260/hadoopdata/jn</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>
<!-- 指定 zookeeper 集群访问地址 -->
 <property>
   <name>ha.zookeeper.quorum</name>
   <value>c01:2181,c02:2181,c03:2181,c04:2181</value>
 </property>
</configuration>

hdfs-site.xml

[root@c01 hadoop]# vi ./hdfs-site.xml

<configuration>
 <property>
     <name>dfs.replication</name>
     <value>1</value>
 </property>

<!--指定 hdfs 的 nameservice 为 mycluster，需要和 core-site.xml 中保持一致-->
 <property>
     <name>dfs.nameservices</name>
     <value>mycluster</value>
 </property>

 <!-- mycluster 下面有两个 NameNode，分别是 nn01，nn02 -->
 <property>
     <name>dfs.ha.namenodes.mycluster</name>
     <value>nn01,nn02</value>
 </property>

 <!-- nn1 的 RPC 通信地址 -->
 <property>
     <name>dfs.namenode.rpc-address.mycluster.nn01</name>
     <value>c01:9000</value>
 </property>
 <!-- nn1 的 http 通信地址 -->
 <property>
     <name>dfs.namenode.http-address.mycluster.nn01</name>
     <value>c01:50070</value>
 </property>
 <!-- nn2 的 RPC 通信地址 -->
 <property>
     <name>dfs.namenode.rpc-address.mycluster.nn02</name>
     <value>c02:9000</value>
 </property>
 <!-- nn2 的 http 通信地址 -->
 <property>
     <name>dfs.namenode.http-address.mycluster.nn02</name>
     <value>c02:50070</value>
 </property>

 <!-- 指定 NameNode 的 edits 元数据在 JournalNode 上的存放位置 -->
 <property>
     <name>dfs.namenode.shared.edits.dir</name>
     <value>qjournal://c01:8485;c02:8485;c03:8485;c04:8485/mycluster</value>
 </property>

 <!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
 <property>
     <name>dfs.journalnode.edits.dir</name>
     <value>/opt/bigdata/hadoop260/data/journaldata</value>
 </property>

 <!-- 开启 NameNode 失败自动切换 -->
 <property>
     <name>dfs.ha.automatic-failover.enabled</name>
     <value>true</value>
 </property>


 <!-- 配置失败自动切换实现方式 -->
 <!-- 此处配置较长，在安装的时候切记检查不要换行-->
 <property>
     <name>dfs.client.failover.proxy.provider.mycluster</name>
     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
 <property>
     <name>dfs.permissions.enable</name>
     <value>false</value>
 </property>

 <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->
 <property>
     <name>dfs.ha.fencing.methods</name>
     <value>
         shell(/bin/true)
     </value>
 </property>

 <!-- 使用 sshfenns离机制时需要 ssh 免登陆 注意这里要修改成你自己的地址 -->
 <property>
     <name>dfs.ha.fencing.ssh.private-key-files</name>
     <value>/root/.ssh/id_rsa</value>
 </property>
 
 <!-- 配置 sshfence 隔离机制超时时间(30s) -->
 <property>
     <name>dfs.ha.fencing.ssh.connect-timeout</name>
     <value>30000</value>
 </property>
</configuration>

yarn-site.xml

[root@c01 hadoop]# vi ./yarn-site.xml

<!-- 开启 RM 高可用 -->
 <property>
     <name>yarn.resourcemanager.ha.enabled</name>
     <value>true</value>
 </property>

 <!-- 指定 RM 的 cluster id，可以自定义-->
 <property>
     <name>yarn.resourcemanager.cluster-id</name>
     <value>jyarn</value>
 </property>

 <!-- 指定 RM 的名字，可以自定义 -->
 <property>
     <name>yarn.resourcemanager.ha.rm-ids</name>
     <value>rm1,rm2</value>
 </property>
 <!-- 分别指定 RM 的地址 -->
 <property>
     <name>yarn.resourcemanager.hostname.rm1</name>
     <value>c03</value>
 </property>
 <property>
     <name>yarn.resourcemanager.hostname.rm2</name>
     <value>c04</value>
 </property>

 <!-- 启用自动恢复 -->
 <property>
     <name>yarn.resourcemanager.recovery.enabled</name>
 <value>true</value>
 </property>

 <!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上-->
 <property>
     <name>yarn.resourcemanager.store.class</name>
     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
 </property>

 <!-- 指定 zk 集群地址 -->
 <property>
     <name>yarn.resourcemanager.zk-address</name>
     <value>c01:2181,c02:2181,c03:2181,c04:2181</value>
 </property>

 <!-- 要运行 MapReduce 程序必须配置的附属服务 -->
<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

hadoop 环境变量配置

[root@c01 hadoop]# vi /etc/profile.d/env.sh 

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

[root@c01 hadoop]# source /etc/profile.d/env.sh

格式化hdfs

[root@c01 hadoop]# hadoop namenode -format

然后使用以下命令去执行脚本，拷贝到每台机器上

[root@c01 hadoop260]# xrsync ./etc/hadoop/

脚本文件

此脚本文件

点击此处

去获取，或者

点击这里

去查看脚本的内容

在这里插入图片描述

启动及运行等服务命令

通过脚本文件启动各个机器上的zookeeper

[root@c01 hadoop260]# zkop.sh start

四台机器需全部启动journalnode：

[root@c01 hadoop260]# ./sbin/hadoop-daemon.sh start journalnode
[root@c02 hadoop260]# ./sbin/hadoop-daemon.sh start journalnode
[root@c03 hadoop260]# ./sbin/hadoop-daemon.sh start journalnode
[root@c04 hadoop260]# ./sbin/hadoop-daemon.sh start journalnode

格式化c01的namenode

[root@c01 hadoop260]# ./bin/hdfs namenode -format

启动c01的namenode

[root@c01 hadoop260]# ./sbin/hadoop-daemon.sh start namenode

将c02的namenode进行数据同步

[root@c02 hadoop260]# ./bin/hdfs namenode -bootstrapStandby

然后将c01进行格式化zkfc

[root@c01 hadoop260]# ./bin/hdfs zkfc -formatZK

关闭dfs

[root@c01 hadoop260]# ./sbin/stop-dfs.sh

然后启动dfs

[root@c01 hadoop260]# ./sbin/start-dfs.sh

再将c03和c04的resourcemanager启动

[root@c03 hadoop260]# ./sbin/start-yarn.sh
[root@c04 hadoop260]# ./sbin/start-yarn.sh

通过showjps.sh 脚本查看全部机器的jps：

[root@c01 hadoop260]# showjps.sh jps

在这里插入图片描述

去网页查看效果

查看namenode

在这里插入图片描述

因为c02是standby状态，

查看resourcemanager

在这里插入图片描述

可以看到resourcemanager也是一台active，一台standby。(阁下可以通过kill 掉其中一个namenode 或者 resourcemanager进程来查看他们的namenode以及resourcemanager的状态改变！)

ps：至此，HA高可用集群搭建完毕！

ps：望多多支持，后续更新中。。。

原文链接：https://blog.csdn.net/hua_ge_zui_liang/article/details/106618840