Zookeeper、Hive的下载、本地配置

  • Post author:
  • Post category:其他




注意:



请在完成Hadoop全分布式后阅览。

Zookeeper官网下载地址:




Apache Downloads



https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.8.1/apache-zookeeper-3.8.1-bin.tar.gz



Hive的官网下载地址:




Index of /hive (apache.org)



https://dlcdn.apache.org/hive/



在Hive的官网上可以查看到与Hadoop各个版本的兼容情况。




Downloads (apache.org)



https://hive.apache.org/general/downloads/



在这里我使用的是Hive的3.1.3版本,此版本与Hadoop3.x.y版本都兼容。

Zookeeper的部署

将我们从官网下载的zookeeper压缩包通过外部连接器传到某个文件夹内。这里推荐在根目录的opt文件夹中。通过命令行进行解压缩,这里是解压在当前目录。

解压成功后为了方便后续我们的操作,我们在这里给解压后的文件重命名一下,zookeeper为我们命名后的文件名。

之后我们cd到zookeeper/conf找到zoo_sample.cfg将它通过命令copy一下命名为zoo.cfg

之后我们vi这个copy后的文件,在文件里面添加我们要用到的内容

service.N =YYY: A:B

N:代表服务器编号(也就是myid里面的值)

YYY:服务器地址

A:表示 Flower 跟 Leader的通信端口,简称服务端内部通信的端口(默认2888)

B:表示 是选举端口(默认是3888)



注意:

如果在第四个位置内容有改动的话要手动创建改动的文件,

如果没有改动的话,请忽略

。例如这里就有改动所以要主动创建文件:

在创建好的文件夹里我们需要创建我们的节点文件


如果没有改动的话cd到tmp/zookeeper(默认在这个目录)内创建文件

之后,我们将配置好的文件添加到环境变量中,这里推荐添加到用户环境变量

在环境变量中添加上我们需要用到的内容 ,

之后我们将所有 配置文件通过scp发送到我们另外两个从节点上包括我们的环境

部署成功后启动就是这个样子的,follower这个状态是正常的。

Hive部署

1、本地模式

在线下载MySQL

wget http://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql80-community-el7/mysql80-community-release-el7-1.noarch.rpm

安装MySQL

rpm -ivh mysql80-community-release-el7-1.noarch.rpm

使用yum源安装MySQL服务

yum install mysql-server

出现错误


GPG




验证不通过




,我理解是本机配置的这个软件包对应的



公钥



不对,签名验证失败。

更新公钥

MySQL服务安装成功

MySQL数据库安装成功后需要的操作

  1. 查看是否开机启动,图中是开机启动
  2. 启动MySQL
  3. 初始化MySQL
  4. 查看MySQL临时密码
  5. 登录MySQL,此时我们需要更改密码否则会出现错误,无法进行任何操作

在官网下载好我们需要的hive版本包之后按照之前的解压、重命名。将Hive添加到我们的用户环境中。

cd到Hive安装目录下的conf目录,我们将hive-env.sh.template进行复制跟重命名为hive-env.sh

执行“vi hive-env.sh”命令编辑文件,在文件的末尾添加如下内容:

export HADOOP_HOME=/bigdata/hadoop                 #Hadoop的路径

export HIVE_CONF_DIR=/bigdata/hive/conf              #conf的路径

export HIVE_AUX_JARS_PATH=/bigdata/hive/lib

export JAVA_HOME=/bigdata/jdk                                #jdk的路径

export HIVE_HOME=/bigdata/hive                              #hive的路径

保存退出后,进入hive的conf目录,通过命令行创建文件:

touch hive-site.xml

在hive-site.xml添加如下内容,其中圈出来的分别是登录MySQL账号,密码,授权的用户主机名,MySQL存在的数据库:

其中授权MySQL登录的用户可以通过以下命令查看:

将我们需要用到的MySQL的jdbc的驱动包添加到hive的lib目录里面。

最后初始化Hive

出现这个就表示成功了!!!!!

最后,让我们看一下我们配置好的hive,这样就是成功了。



版权声明:本文为helinjie1245原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。