5.Hadoop Linux命令行操作

  • Post author:
  • Post category:linux



接上文————>


1.查看可执行参数:

hadoop fs

2.查看hdfs目录:

hadoop fs -ls /

3.创建目录:

hadoop fs -mkdir /tmp/userzrt
hadoop fs -ls /tmp/ 查看

4.-copyFromLocal:复制本地文件系统到HDFS:

创建一个TXT文件

vi 1.txt

将opt下的1.txt复制到刚才创建的/tmp/userzrt中

hadoop fs -copyFromLocal /opt/1.txt /tmp/userzrt

查看:

hadoop fs -ls /tmp/userzrt

-put:等同于copyFromLocal,复制本地文件系统到HDFS:

hadoop fs -put /opt/1.txt /tmp/userzrt

5.-copyToLocal:复制HDFS文件系统到本地文件系统:

hadoop fs -copyToLocal /tmp/userzrt/1.txt /opt/zrt

-get:等同于copyToLocal,复制HDFS文件系统到本地文件系统:

hadoop fs -get /tmp/userzrt/1.txt /opt/zrt

6.剪切本地文件到hdfs:

注解:将opt中的1.txt文件剪切到/tmp/userzrt文件

hadoop fs -moveFromLocal /opt/1.txt /tmp/userzrt

7.-appendToFile:追加文件内容到已经存在的文件末尾

将opt中的2.txt文件内容追加到/tmp/userzrt/1.txt文件的最后面

hadoop fs -appendToFile /opt/2.txt /tmp/userzrt/1.txt

8.-cat:显示文件内容:

hadoop fs -cat /tmp/userzrt/1.txt

9.-tail:显示文件的末尾(默认显示末10行):

hadoop fs -tail /tmp/userzrt/1.txt

10.复制(-cp:从HDFS上一个位置复制到HDFS的其他位置)

hadoop fs -cp /tmp/userzrt/1.txt /tmp/zrt/

11.移动(-mv:在HDFS目录中移动文件)

hadoop fs -mv /tmp/userzrt/1.txt /tmp/zrt

12.合并下载(-getmerge:合并下载多个文件,HDFS某一目录下有多个文件,合并下载为一个文件)

hadoop fs -getmerge /tmp/zrt/* /opt/com.txt/

13.删除文件/文件夹(-rm:删除文件或文件夹)

删除文件:

hadoop fs -rm -skipTrash /tmp/zrt/1.txt

删除文件夹:

hadoop fs -rm -r -skipTrash /tmp/userzrt

14.删除空目录:

hadoop fs -rmdir /tmp/test/

15.统计文件夹大小(-du:统计文件夹的大小)

hadoop fs -du -s -h /tmp/zrt

16.-df:统计文件系统的可用空间信息

hadoop fs -df -h /

17.-setrep:设置HDFS中文件的副本数

hadoop fs -setrep 2 /tmp/zrt/io.txt



版权声明:本文为m0_45097792原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。