Hadoop编程——第五章:(3) MapReduce集群与本地local运行模式

  • Post author:
  • Post category:其他




一、MapReduce程序运行模式



概述

所谓的运行模式指的是︰

MapReduce程序是单机运行还是分布式运行?

MapReduce程序需要的运算资源是Hadoop YARN分配还是本机系统自己分配?

●运行在何种模式取决于参数:mapreduce.framework.name

yarn : YARN集群模式

local :本地模式

●如果不指定,默认是local模式。

在mapred-default.xml中定义。

如果代码中( conf. set )、运行的环境中有配置( mapred-site.xml ),会默认覆盖default配置。



(一)YARN集群模式

MapReduce程序提交给yarn集群,分发到多个节点上分布式并发执行。数据通常位于HDFS.需要配置参数︰

mapreduce.framework. name=yarn

yarn. resourcemanager. hostname=node1.itcast.cn

提交集群的实现步骤︰

确保Hadoop集群启动(HDFS集群、YARN集群);

将程序打成jar包,上传jar到Hadoop集群的任意一个节点;执行命令启动。

在这里插入图片描述



clean一下

在这里插入图片描述



打成jar包

在这里插入图片描述



打开虚拟机,且确认hadoop的节点已经启动

在这里插入图片描述



访问http协议web信息界面,本人的端口号是50070,网址格式为:http://ip名称 :50070 把要读取的文本文件存放到某个路径中



把jar包移到虚拟机的文件目录下

在这里插入图片描述



输入指令: hadoop jar jar包名称 输入路径 输出路径

在这里插入图片描述



打开输出路径,即可看到结果

在这里插入图片描述



(二)Local本地模式

MapReduce程序是被提交给LocalJobRunner在本地以单进程的形式运行。是单机程序。输入和输出的数据可以在本地文件系统,也可以在HDFS上。

本地模式非常便于进行业务逻辑的debug。

右键直接运行main方法所在的主类即可。



设置mapreduce的运行模式

如果默认是本地模式,可以不用写以下代码

在这里插入图片描述



因为这个路径是以动态传参的形式,所以我们要指定输入输出路径

在这里插入图片描述

在这里插入图片描述

运行成功

在这里插入图片描述

可以找到输出路径下的结果

在这里插入图片描述



版权声明:本文为weixin_45348240原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。