博客

hadoop高可用的部署，需要有2个namenode，一个是active的，一个是standby的，两个namenode需要有一个管理员来管理，来决定决定谁active，谁standby，如果处于active状态的的namenode坏了，立即启动standby状态的namenode。

这个管理员就是zookeeper

。

主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode。

既然是高可用，那么，只有一个管理员zookeeper也不行，万一这个管理员坏了呢。所以要配一个zookeeper集群。同样只有一个

JournalNode

也不行，要配置多个

JournalNode

。

———————————————————————————————————————————————————

=============1，zookeeper的安装========================

1.1，下载

下载地址就不提供了，时间久了会失效，网上很多，我下载的是zookeeper-3.4.5.tar.gz

1.2，上传到linux虚拟机中解压

我将其解压到/usr/local/下，生成zookeeper-3.4.5这样一个目录

1.3，添加环境变量

vim /etc/profile

在末尾添加：

export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.5

export PATH=$ZOOKEEPER_HOME/bin:$PATH

1.4，修改配置

cd $ZKHOME/conf

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改：dataDir=$ZKHOME/tmp

在最后添加：

server.1=slave01:2888:3888

server.2=slave02:2888:3888

server.3=slave03:2888:3888

保存退出

再在dataDir设置的位置创建一个空文件myid

touch dataDir/myid

最后向该文件写入ID

echo 1 > $ZKHOME/tmp/myid

1.3将配置好的zookeeper拷贝到其他节点

scp -r $ZKHOME slave02:~

scp -r $ZKHOME slave03:~

注意：修改slave02、slave03对应dataDir设置的位置/tmp/myid内容

slave02：

echo 2 > dataDir设置的位置/myid

slave03：

echo 3 > dataDir设置的位置/myid

=========zookeeper安装配置完毕。=======================

可以用#zkServer.sh start来启动zookeeper了，

然后用#zkServer.sh status来查看三个zookeeper   server上，哪个是leader，哪两个是follower。

==========2，hadoop的安装===================================

2.1，下载，上传到虚拟机，解压

百度搜索hadoop-2.7.3.tar.gz可以下载。这个是适用于64位的系统，忘了是2.x之后开始，官方提供的tar.gz都是64位的。

如果你的虚拟机是32位，那么要自己下载hadoop-2.7.3.src.tar.gz源代码自己编译，编译是个麻烦的过程，本文暂不讨论。

我的解压位置是/home/下。

2.2，添加环境变量

vim /etc/profile

末尾添加：

export HADOOP_HOME=/home/hadoop-2.7.3

export PATH=$PATH:$HADOOP_HOME/bin

2.3修改配置文件(重点)

hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下

#cd $HADOOP_HOME/etc/hadoop

2.3.1修改hadoop-env.sh


export JAVA_HOME=$JAVA_HOME

2.3.2修改core-site.xml(其他property不改)

<configuration>
<!-- 指定hdfs的nameservice为.. -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop-2.7.3/tmp</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>clone10:2181,clone11:2181,clone12:2181</value>
</property>

</configuration>

2.3.3修改hdfs-site.xml(其他property不改)

<configuration>
<!--指定hdfs的nameservice为...，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hostaa:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hostaa:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hostbb:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hostbb:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://clone10:8485;clone11:8485;clone12:8485/mycluster</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop-2.7.3/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/tanjun001/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

2.3.4修改mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2.3.5修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 开启RM高可用 -->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>hostaa</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>hostbb</value>
</property>
<!-- 启用RM重启的功能-->
        <property>  
                <name>yarn.resourcemanager.recovery.enabled</name>  
                <value>true</value> 
                <description>启用RM重启的功能，默认为false</description>
        </property> 
        <property>  
                <name>yarn.resourcemanager.store.class</name>  
                <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
                <description>用于状态存储的类，采用ZK存储状态类</description>
        </property> 

<!-- 指定zk集群地址 -->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>clone10:2181,clone11:2181,clone12:2181</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hostaa:8001</value>
        <description>提供给web页面访问的地址，可以查看任务状况等信息</description>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hostbb:8001</value>
        <description>提供给web页面访问的地址，可以查看任务状况等信息</description>
</property>
<!-- 配置通讯的地址和端口，有多少个RM就配置多少组property -->
        <!-- RM1-->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>hostaa:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>hostaa:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hostaa:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>hostaa:8033</value>
    </property>
        <!-- RM2 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hostbb:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>hostbb:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hostbb:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>hostbb:8033</value>
    </property>
</configuration>

2.3.6修改slaves文件，添加如下内容，作用是指定hadoop的datanode节点。

slave01

slave02

slave03

*注：由配置可以看出，hadoop节点之间是要相互通信的。所以要在各节点之间配置ssh免密登陆。

===================hadoop安装配置完毕==============================================

—

===================3，启动=========================================================

第一次启动之前要格式化hadoop和zookeeper

3.1，格式化HDFS


在master01上执行命令:

#hdfs namenode -format

格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是$HADOOP_HOME/tmp，然后将$HADOOP_HOME/tmp拷贝到#master02的$HADOOP_HOME下。

#scp -r tmp/ master02:$HADOOP_HOME

也可以这样，建议hdfs namenode -bootstrapStandby

（***好像在执行这句之前要先启动master01的namenode：sbin/hadoop-daemon.sh start namenode ）

3.2,格式化ZKFC(在master01上执行即可)


#hdfs zkfc -formatZK

3.3，启动

在zookeeper的三格节点上执行

#zkServer.sh start启动zookeeper

然后在master01上执行

#start-dfs.sh        –启动分布式文件系统

#start-yarn.sh     –启动分布式计算

启动后各节点上的jps信息如下：

master01：

4961 Jps

4778 DFSZKFailoverController  //zookeeper控制器进程(可以看作监控namenode的状态)

4465 NameNode                        //hdfs的namenode节点进程



4890 ResourceManager            //yarn的resourcemanager节点进程

master02：

2984 DFSZKFailoverController

3059 Jps

2873 NameNode

slaver01，slaver02，slaver03：

5171 NodeManager            //yarn的nodemanager进程

4311 QuorumPeerMain      //zookeeper(选举)进程

4958 DataNode                   //hdfs的datanode进程

5292 Jps

5060 JournalNode              //用于主备同步的journalNode进程

如果这几个进程都有的话，那么hadoop就算是运行起来了。其他一些单独启动某个进程的指令

#hdfs dfsadmin -report 查看hdfs的各节点状态信息

#hdfs haadmin -getServiceState nn1 获取一个namenode节点的HA状态

#


hadoop-daemon.sh start namenode 单独启动一个namenode进程

#hadoop-daemon.sh start zkfc 单独启动一个zkfc进程

（*如果出现找不到命令的情况，看看环境变量是否配置好了，或者可以直接到hadoop的bin和sbin下调相应命令）

3.4，浏览器访问

到此，hadoop-2.6.2配置完毕，可以通过浏览器访问，查看节点信息:（win10的edge浏览器不行）

http://192.168.231.8:50070

NameNode ‘master01:9000’ (active)

http://192.168.231.9:50070

NameNode ‘master02:9000’ (standby)

可通过浏览器访问查看yarn任务信息（resourcemanager运行节点的ip）

http://192.168.231.8:8001(端口号是上面文件中配置的)

===================启动完毕==========================================================

—

==================4，测试============================================================

4.1，测试集群的高可用性

首先向hdfs上传一个文件

hadoop fs -put /etc/profile /profile

hadoop fs -ls /

然后再kill掉active的NameNode

kill -9 <pid of NN>

通过浏览器访问：http://192.168.231.9:50070

NameNode ‘master02:9000’ (active)

这个时候master02上的NameNode变成了active

在执行命令：

hadoop fs -ls /

-rw-r–r–  3 root supergroup      1926 2014-02-06 15:36 /profile

刚才上传的文件依然存在！！！

手动启动那个挂掉的NameNode

sbin/hadoop-daemon.sh start namenode

通过浏览器访问：http://192.168.231.8:50070

NameNode ‘weekend01:9000’ (standby)

———————————

问题：不能完成主备namenode节点之间的自动切换？

查看配置hdfs-site.xml密匙文件位置是否配置正确

—————————————

4.2，验证YARN：


运行一下hadoop提供的demo中的WordCount程序：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

可以在

http://192.168.231.8:8001查看yarn任务的执行信息。还可以看到历史任务。

==========================备注+参考===================================

完成hadoop+zookeeper的安装部署，写起来很简单，中间也出了很多问题，但是你一一克服，也会很满足。

安装过程，参考了很多其他文章，部分列出来了，部分参考文章想不起来了没列出来，还有同事的帮助。

1，

Hadoop+HBase+ZooKeeper三者关系与安装配置：

http://edu.dataguru.cn/thread-241488-1-1.html

2，

hadoop三个配置文件的参数含义说明：

http://www.iyunv.com/thread-17698-1-1.html

3，hadoop+zookeeper集群高可用搭建

https://www.oschina.net/question/2933406_2212336