Hive执行任务报找不到主类错误

  • Post author:
  • Post category:其他



原因

:由于我的集群是CentOS7系统,根据网上的资料显示,CentOS7的buffer/cache缓存机制会不断增加缓冲区,从而挤占内存,让程序可用的内存变少,导致Java垃圾回收机制把YarnChild进程回收,从而导致找不到main class。


解决思路

:把内存中的缓存数据存入磁盘,然后手动释放内存

网上查到:

执行sync命令,多执行几遍

再依次执行:

echo 1 > /proc/sys/vm/drop_caches

echo 2 > /proc/sys/vm/drop_caches

echo 3 > /proc/sys/vm/drop_caches

但是运行下面语句清缓存时,报Permission denied错误:-bash: /proc/sys/vm/drop_caches: Permission denied

sudo echo 1 > /proc/sys/vm/drop_caches

sudo echo 2 > /proc/sys/vm/drop_caches

sudo echo 3 > /proc/sys/vm/drop_caches

sync

bash 拒绝这么做,提示权限不够,是因为重定向符号 “>” 也是 bash 的命令。sudo 只是让 echo 命令具有了 root 权限,

但是没有让 “>” 命令也具有root 权限,所以 bash 会认为这个命令没有写入信息的权限。

解决方法:

“sh -c” 命令,它可以让 bash 将一个字串作为完整的命令来执行

sudo sh -c “echo 1 > /proc/sys/vm/drop_caches”

sudo sh -c “echo 2 > /proc/sys/vm/drop_caches”

sudo sh -c “echo 3 > /proc/sys/vm/drop_caches”

或者

echo 1 |sudo tee /proc/sys/vm/drop_caches



版权声明:本文为weixin_45727509原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。