一、导入新课
上一节中,主要讲解了HDFS的架构和原理,使得学生更深入的了解HDFS的底层架构以及读写数据的原理,那我们该如何访问HDFS呢?HDFS提供了多种数据访问方式,而Shell命令行方式是最简单的,也是许多开发者最容易掌握的方式,本节将针对HDFS的Shell操作进行详细讲解
二、了解HDFS常用Shell命令
1.三种shell命令方式
https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html
2、FileSystem Shell文档
查看
cat
命令用法
(三)HDFS常用命令操作实战
启动Hadoop集群
1、创建目录
执行命令
:
hdfs dfs -mkdir /ied
利用Hadoop WebUI查看创建的目录
(2):创建多层目录
执行命令:
hdfs dfs -mkdir /luzhou/lzy
,会报错,因为
/
luzhou
目录不存在
-
当然,可以先创建
/
luzhou
目录,然后在里面再创建
lzy
子目录,但是也可以一步到位,需要一个
-p
参数 -
执行命令:
hdfs dfs -mkdir -p /luzhou/lzy
利用Hadoop WebUI查看创建的多层目录
2。查看目录
执行命令
:
hdfs dfs -ls /
,
查看根目录(可以在任何节点上查看,结果都是一样的)
-
执行命令:
hdfs dfs -ls /luzhou
-
如果我们要查看根目录里全部的资源,那么要用到地柜参数
-R
(必须大写) -
执行命令:
hdfs dfs -ls -R /
,递归查看/目录

3.上传文件到HDFS
- 创建test.txt文件,执行命令:echo “hello hadoop world” > test.txt
查看
test.txt
文件内容
执行命令:cat test.txt
- 利用Hadoop WebUI界面查看
4、查看文件内容
-
执行命令:
hdfs dfs -cat /ied/test.txt
5、下载HDFS文件到本地
-
先删除本地的test.txt文件,执行命令:
rm -rf test.txt
- 可以将HDFS上的文件下载到本地指定位置,并且可以更改文件名
-
执行命令:
hdfs dfs -get /ied/test.txt /home/exam.txt
6、删除HDFS文件
-
执行命令:
hdfs dfs -rm /ied/test.txt
-
检查是否删除成功,执行命令:
hdfs dfs -ls /ied/test.txt
-
使用通配符,可以删除满足一定特征的文件 执行命令:
hdfs dfs -rm /ied/t*
- 解析:“t*”,意为删除以‘t’开头的文件。
7、删除HDFS目录
-
执行命令:
hdfs dfs -rmdir /luzhou
- 提示-rmdir命令删除不了非空目录。
-
要递归删除才能删除非空目录:
hdfs dfs -rm -r /luzhou(-r:recursive)
8、移动目录或文件
- 利用Hadoop WebUI查看是否更名成功
-
查看改名后的test.txt文件内容,执行命令:
hdfs dfs-cat /ied01/test.txt
9、文件合并下载
-
现在/ied01里有一个test.txt,创建
sport.txt和music.txt并上传
-
合并/ied01目录的文件下载到本地当前目录的merger.txt,执行命令:
hdfs dfs -getmerge /ied01/* merger.txt
- 下面,查看本地的merger.txt,看是不是三个文件合并后的内容