4.3 HDFS的shell操作

  • Post author:
  • Post category:其他



一、导入新课

上一节中,主要讲解了HDFS的架构和原理,使得学生更深入的了解HDFS的底层架构以及读写数据的原理,那我们该如何访问HDFS呢?HDFS提供了多种数据访问方式,而Shell命令行方式是最简单的,也是许多开发者最容易掌握的方式,本节将针对HDFS的Shell操作进行详细讲解


二、了解HDFS常用Shell命令


1.三种shell命令方式


https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html


2、FileSystem Shell文档

查看

cat

命令用法

(三)HDFS常用命令操作实战

启动Hadoop集群


1、创建目录

执行命令



hdfs dfs -mkdir /ied

利用Hadoop WebUI查看创建的目录

(2):创建多层目录

执行命令:


hdfs dfs -mkdir /luzhou/lzy


,会报错,因为

/

luzhou


目录不存在

  • 当然,可以先创建

    /

    luzhou


    目录,然后在里面再创建

    lzy

    子目录,但是也可以一步到位,需要一个


    -p


    参数
  • 执行命令:


    hdfs dfs -mkdir -p /luzhou/lzy

利用Hadoop WebUI查看创建的多层目录

2。查看目录

执行命令




hdfs dfs -ls /




查看根目录(可以在任何节点上查看,结果都是一样的)

  • 执行命令:

    hdfs dfs -ls /luzhou

  • 如果我们要查看根目录里全部的资源,那么要用到地柜参数

    -R

    (必须大写)
  • 执行命令:

    hdfs dfs -ls -R /

    ,递归查看/目录



3.上传文件到HDFS

  • 创建test.txt文件,执行命令:echo “hello hadoop world” > test.txt

查看



test.txt



文件内容

执行命令:cat test.txt

  • 利用Hadoop WebUI界面查看


4、查看文件内容

  • 执行命令:

    hdfs dfs -cat /ied/test.txt


5、下载HDFS文件到本地

  • 先删除本地的test.txt文件,执行命令:

    rm -rf test.txt

  • 可以将HDFS上的文件下载到本地指定位置,并且可以更改文件名
  • 执行命令:

    hdfs dfs -get /ied/test.txt /home/exam.txt


6、删除HDFS文件

  • 执行命令:


    hdfs dfs -rm /ied/test.txt

  • 检查是否删除成功,执行命令:


    hdfs dfs -ls /ied/test.txt

  • 使用通配符,可以删除满足一定特征的文件 执行命令:


    hdfs dfs -rm /ied/t*

  • 解析:“t*”,意为删除以‘t’开头的文件。



7、删除HDFS目录


  • 执行命令:

    hdfs dfs -rmdir /luzhou

  • 提示-rmdir命令删除不了非空目录。
  • 要递归删除才能删除非空目录:

    hdfs dfs -rm -r /luzhou(-r:recursive)


8、移动目录或文件

  • 利用Hadoop WebUI查看是否更名成功

  • 查看改名后的test.txt文件内容,执行命令:


    hdfs dfs-cat /ied01/test.txt


9、文件合并下载

  • 现在/ied01里有一个test.txt,创建

    sport.txt和music.txt并上传

  • 合并/ied01目录的文件下载到本地当前目录的merger.txt,执行命令:

    hdfs dfs -getmerge /ied01/* merger.txt

  • 下面,查看本地的merger.txt,看是不是三个文件合并后的内容



版权声明:本文为saddwe原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。