博客

1、集群规划

本文一些基础设置参照之前的Hadoop集群搭建的那篇博客：

CentOS7环境下Hadoop3 NameNode ResourceManager HA 集群搭建


现需要新增一台服务器，新集群规划如下：

2、操作系统环境准备

2.1、新服务器的操作系统安装。

这里就不写了。

2.2、原先所有服务器的/etc/hosts文件的修改，增加一行lzjdn4的记录，使内容如下：

192.168.100.131 lzjnn1
192.168.100.132 lzjnn2
192.168.100.141 lzjdn1
192.168.100.142 lzjdn2
192.168.100.143 lzjdn3
192.168.100.144 lzjdn4

lzjdn4服务器上的/etc/hosts内容也保持一致。

2.3、建hadoop用户

参考引用文对应内容

2.4、各服务器间ssh无密码访问

参考引用文对应内容

3、JDK安装配置

参考引用文对应内容

4、Hadoop安装配置

4.1、下载&安装&配置

参考引用文对应内容

4.2、本次新增节点需要的设置：

所有服务器上$HADOOP_HOME/etc/hadoop下workers文件新增lzjdn4的配置：

lzjdn1
lzjdn2
lzjdn3
lzjdn4

4.3、启动新节点上的DataNode和NodeManager

#在新节点上启动datanode
$HADOOP_HOME/bin/hdfs --daemon start datanode

#在新节点上启动nodemanager
$HADOOP_HOME/bin/yarn --daemon start nodemanager

4.4、查看集群状态

#查看hdfs各节点状态
$HADOOP_HOME/bin/hdfs dfsadmin -report

#查看yarn各节点状态
$HADOOP_HOME/bin/yarn node -list