hive三种模式

  • Post author:
  • Post category:其他


Hive 安装部署

Hive安装前需要安装好JDK和Hadoop。配置好环境变量。如果需要使用mysql来存储元数据,则需要mysql也安装好。

1.metadata 、metastore

Metadata即元数据。元数据包含用Hive创建的database、table、表的字段等元信息。元数据存储在关系型数据库中。如hive内置的Derby、第三方如MySQL等。

Metastore即元数据服务,作用是:客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据。有了metastore服务,就可以有多个客户端同时连接,而且这些客户端不需要道MySQL数据库的用户名和密码,只需要连接metastore 服务即可。

2.metastore三种配置方式

2.1.内嵌模式

内嵌模式使用的是内嵌的Derby数据库来存储元数据,也不需要额外起Metastore服务。数据库和Metastore服务都嵌入在主Hive Server进程中。这个是默认的,配置简单,但是一次只能一个客户端连接,适用于用来实验,不适用于生产环境。

解压hive安装包 bin/hive 启动即可使用

缺点:不同路径启动hive,每一个hive拥有一套自己的元数据,无法共享。

在这里插入图片描述

特点:使用内置的derby来存储元数据 metastore不需要配置和启动

bin/hive 启动

缺点:元数据无法共享,跟启动路径有关

2.2.本地模式

在这里插入图片描述

特点:使用第三方数据库如mysql来存储元数据 metastore服务不需要单独配置启动

缺点:每启动一个hive服务,就会内置一个metastore服务 浪费资源

每个客户端都需要知道mysql的密码

大前提:必须安装好mysql 访问权限

3.远程模式

特点:使用第三方mysql来存储元数据 需要单独配置启动metastore服务

配置:在本地模式的基础上添加一个参数hive.metastore.uris

在这里插入图片描述

hive第一代客户端和第二代客户端

第一代: bin/hive 过时 不推荐使用 可以偷偷用 直接使用metastore

第二代: bin/beeline 需要配合hiveserver2服务使用 不直接使用metastore

启动顺序:

先启动hadoop mysql

启动metastore服务 再hiversever2服务 最后使用beeline客户端进行连接



版权声明:本文为weixin_45478041原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。