Hadoop集群搭建前安装准备参考：
一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
一、Hadoop系统应用之安装准备（二）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
Hadoop集群搭建
1 Hadoop集群部署模式
采用完全分布模式对Hadoop集群进行部署
2 JDK安装
第一步：使用如下指令进入之前创建的用于存放安装包软件的文件夹：
cd /export/software/
之后使用指令ls查看该目录内容，可发现该目录下没有文件，然后输入rz指令（上传文件指令），可发现找不到该命令，这是由于还没有安装。
第二步：使用指令yum install lrzsz -y下载，安装该命令。
若下载失败则为之前配置的yum源失效，可尝试依次输入以下三条指令解决：
wget -O /etc/yum.repos.d/CentOS-Base.repo http://files.tttidc.com/centos6/Centos-6.repo
wget -O /etc/yum.repos.d/epel.repo http://files.tttidc.com/centos6/epel-6.repo
yum makecache
第三步：安装完成后输入指令rz，选择JDK安装包，进行文件的上传。
JDK
如果点击ok后没有反应就再次输入rz。
第四步：对JDK进行解压。
使用如下指令：
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers/
然后使用如下指令进入/export/servers/目录（该目录为JDK解压后的位置）：
cd /export/servers/
在该目录下，使用如下指令进行JDK重命名:
mv jdk1.8.0_161/ jdk
第五步：配置JDK环境变量。
使用如下指令进入profile文件并进行修改：
vi /etc/profile
在该文件最下方写入如下内容：
export JAVA_HOME=/export/servers/jdk
export PATH=:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
之后执行source /etc/profile指令使之生效，最后输入指令java -version查看是否安装成功。
3 Hadoop安装
第一步：使用如下指令进入之前创建的用于存放安装包软件的文件夹：
cd /export/software/
第二步：使用指令rz上传hadoop安装包。
Hadoop 2.7.4
如果点击ok后没有反应就再次输入rz。之后使用指令ls查看该目录下文件可发现已成功上传hadoop安装包。
第三步：对hadoop进行解压。
使用如下指令：
tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/
解压完成后查看使用指令cd /export/servers/进入该解压目录，使用指令ls查看该目录下文件可发现已存在hadoop。
第四步：配置hadoop环境变量。
使用如下指令进入profile文件并进行修改：
vi /etc/profile
在该文件最下方写入如下内容：
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
之后执行source /etc/profile指令使之生效，最后输入指令hadoop version查看是否安装成功。
4 Hadoop集群配置
第一步：配置Hadoop集群主节点。
在上一步的基础上，首先使用如下指令进入etc/hadoop/目录：
cd hadoop-2.7.4/etc/hadoop/
然后使用如下指令打开hadoop-env.sh文件进行修改：
vi hadoop-env.sh
在该文件中添加以下内容：
export JAVA_HOME=/export/servers/jdk
第二步：修改core-site.xml文件。
使用如下指令打开core-site.xml文件进行修改：
vi core-site.xml
在该文件中添加以下内容：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop-2.7.4/tmp</value>
</property>
</configuration>
第三步：修改hdfs-site.xml文件。
使用如下指令打开hdfs-site.xml文件进行修改：
vi hdfs-site.xml
在该文件中添加以下内容：
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:50090</value>
</property>
</configuration>
第四步：修改mapred-site.xml文件。
在该文件夹下，没有mapred-site.xml文件，只有一个mapred-site.xml.template文件，通过如下指令将该文件复制并重命名为mapred-site.xml。
cp mapred-site.xml.template mapred-site.xml
使用如下指令打开mapred-site.xml文件进行修改：
vi mapred-site.xml
在该文件中添加以下内容：
<configuration>
<!-- 指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
第五步：修改yarn-site.xml文件。
使用如下指令打开yarn-site.xml文件进行修改：
vi yarn-site.xml
在该文件中添加以下内容：
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>
第六步：修改slaves文件。
使用如下指令打开slaves文件进行修改：
vi slaves
将该文件中内容删掉，然后在该文件中添加以下内容：
hadoop01
hadoop02
hadoop03
第七步：将上述主节点hadoop01的配置内容分发给hadoop02和hadoop03上。
使用如下指令：
scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /export/ hadoop02:/
scp -r /export/ hadoop03:/
之后在另外两个节点上执行source /etc/profile指令完成配置。
参考文献：黑马程序员.Hadoop大数据技术原理与应用[M].北京：清华大学出版社,2019.
后续学习链接：
三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）