Linux执行hdfs上的jar包,如何运行Hadoop自带的Wordcount案例

  • Post author:
  • Post category:linux


1,在运行这个案例之前,首先启动你的Hadoop集群,我的Hadoop集群搭建的是完全分布式,三台机器,保证都启动起来

2,进入Hadoop的安装目录

3,重点来了,如果你不知道这个examples这个jar包在哪里的情况下,可以在hadoop的安装目录执行

find ./ -name example.jar

5b350fea3c69

image.png

4,上传相关文件到hdfs上面

hdfs dfs -put /home/a.txt /wordcount/input

第一个路径为linux目录,第二个路径为hdfs路径

5,执行Wordcount,这个就能够看出来这个里面有左面这么多方法,然后找到我们想要的Wordcount,后面提示Wordcount需要一个输入路径,输入路径为计算的位置

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar

5b350fea3c69

image.png

6,加上wordcount和输入路径

[root@master hadoop-2.9.2]# hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wordcount/input

5b350fea3c69

image.png

提示还需要输出路径

7,加上输出路径,完美运行,这个输出路径也是hdfs的路径

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wordcount/input/ /wordcount/output

8,上面有一点要注意的是jar包位置用的是./,这个是当前目录的意思,如果你位置不是在hadoop安装目录,这个就要写绝对路径了.

9,上面教程虽然繁琐,但是是为了教你怎么分析问题,而不是简单地cv模式,没有意义.