hadoop_高级功能

  • Post author:
  • Post category:其他


1. 回收站

默认:禁用


删除数据,

hadoop dfs -rmr /output

日志:

17/10/25 10:27:53 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes. Deleted /output

回收站的本质:把要删除的数据移动到一个隐藏目录


修改

core-site.xml

配置

<property>

<name>fs.trash.interval</name>

<value>1440</value>

</property>

value

是分钟,默认是


0





1440


分钟即一天,删除文件时会将文件放到回收站一天,这一天内可以通过复制或移动将文件恢复。

开通回收站后再删除,日志如下:

hadoop dfs -rmr /output

17/10/25 10:44:35 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 1440 minutes, Emptier interval = 0 minutes.

Moved: ‘hdfs://192.168.157.111:9000/output’ to trash at: hdfs://192.168.157.111:9000/user/root/.Trash/Current

不建议开通回收站功能

2.

快照

snapshot

快照针对的是目录,本质是将文件复制一份到隐藏目录下。

第一步:使用管理员开启某个目录快照功能

[-allowSnapshot <snapshotDir>]

[-disallowSnapshot <snapshotDir>]



版权声明:本文为qq_41665356原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。