Hive 3.1.2安装(基于Centos7.x和Hadoop3.2.1)

  • Post author:
  • Post category:其他




Hive 3.1.2安装(基于Centos7.x和Hadoop3.2.1)



背景

  1. Hadoop大数据套件被应用后,进行数据处理就必须编写mapreduce代码。而相当一部分大数据处理需求都是进行数据的查询操作(实际数据库的操作中,读写操作比例也有80%:20%的说法)
  2. Facebook的工程师也遇到这个问题。编写mapreduce对于程序员还是有一定门槛,但是会使用sql的人群更庞大。所以Facebook就发明了Hive,一个把sql语句转换为mapreduce代码的转换器。
  3. 不过Hive的使用场景,还是会有一些限制。既然是sql语句,则Hive转换的mapreduce所需要处理的数据就需要有结构跟数据库数据一样。同时Hive将sql转换为mapreduce代码是通过类似模板的操作
  4. 注意,Hive只是把Sql语句转换为mapreduce代码,也就是一个转换器。所以一般不需要安装集群,安装在一个节点即可。如果担心损坏,一般安装2台,切换者使用也可。



1. 安装环境

  1. Centos7.x

    安装教程
  2. Hadoop 3.2.1


    yarn安装教程



    hdfs安装教程
  3. mysql5.7



版权声明:本文为xiaohu21原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。